这一席话说服了很多人，但徐庶却不这么想，他劝谏说：“北面的鲜卑虽然难缠，却并非国家的生死大敌，袁绍此时支撑不住，也只是今年撤兵而已，歇息半年，明年他必然又能卷土重来。到那时，难道明公又出兵前来吗？到那时，青徐的伪朝如何？淮南的袁术如何？”
徐庶此言是强调，较袁绍而言，齐汉与袁术才可说是国家公敌。去年接连大胜后，朝中原本就商议过了，说是在今岁夏收后，再次出兵青徐，好将二者一鼓荡平。结果出了袁绍北上一事，刘备未经朝野讨论，直接上表出兵，其实并不合规。朝中传出来对刘备的非议，众人也是知道的，即使为刘备的名声考虑，刘备明年也不可能再出兵河北。
徐庶此时提出此事，便是要点出易京之关键，他继续说：“易京，是蓟侯穷尽一州之物力，方才造出的国家巨防。我听闻本地的燕人说，其耗费高达亿钱，光埋在城下的民夫便有百人，其壁垒高厚好似阜山，沟堑积深不下大河。今年蓟侯虽坐困二城，但袁军三月不能破城，可见其坚固。若是将此城拆毁，蓟侯一无高墙，二无财力，三无民心，该以何当袁本初呢？那就是将幽州拱手相让了！望明公深思！”
他说到这，众人不禁变色，刘备也攥手成拳，拳上露出些青色。若真让袁绍一统河北，又联络乌桓鲜卑，那朝廷近年来好不容易立起的威信，恐怕都将付之东流了。
故而刘备断然说：“元直说的有理，易京绝不可拆！”
而后他便叫来邯郸修，当着众人的面，对邯郸修道：“易京在蓟侯治下，非在我手中，拆城一事，我难以越俎代庖。便是我答应拆城，也只是空口而已。况且，此城本是民间膏脂而成，一旦拆除，又须空耗国力，白白让民间生怨。你”
刘备还未说完，便见邯郸修面上露出难色，但他也无心听其辩解，挥手示意他沉默，接着用果决的语气说：“毋须多言！你且去回禀袁本初，若真想相安无事，不如他撤万人，我便也撤万人，如此各回东西。莫要等到了冬日，两军白白在这里受冻！”
说罢便让邯郸修自行离去了，他转头又对徐庶说：“点检粮草，看还能支持几日，若是袁绍不应允，我们也要做好大战的准备，即使他不应战，我还要示威哩！”
于是汉军大作声势，令旗帜与车队在涿县与营垒之间往来调动，炊具与火营都移到最西面，使炊烟如腾云般缭绕，对岸的袁军也就赫然可见了。但对面的袁军也不甘示弱，出营到岸边操练射箭作为回应，其中有一人箭法格外好，站在西岸射箭，一箭就射中了一名士卒的冠缨，这也颇令汉军钦佩，称呼对面那名神射手叫落缨箭士。
但这股终于要升上来的血气，却与两军的将领无关。不过两日，袁绍又令邯郸修前来传信，他答应说可以不拆易京，但是易京所在本就是冀州之土，大将军既然将易京划给幽州，为展现公允，也当把一县划归冀州才是。
故而袁绍请求将渔阳郡中的泉州县划到渤海郡内。
对于这个请求，众僚佐又是一阵议论，认为是袁绍想占据此城后，与辽西三郡乌桓联络，借此割裂幽州，为来年再犯做准备。有人以为此条件可以接受，也有人以为此条件还是太高，就在刘备犹豫的时候，西京忽然来了诏书。
诏书中说，袁绍已将要求上表朝廷，朝廷以为此情固所应当，可以应允。刘备身为大将军，因先致力于平定乱贼，而非与国家州牧为难，望他速速议和西返。今年霸府之用度，已近百万斛，国力不可浪靡。
刘备见诏书大怒，对着前来传诏的陈群喝道：“长文，这是谁的意思？庭坚也能应允的吗？”
陈群叹气说：“这并非是大兄的意思，是朝中对大将军此行非议甚多，若只是朝中非议都还好，大兄也能拦下来，但此次陛下也怀有不满，与大兄争论了一日，陛下寸步不让。大兄计量现下形势，只能先退再进，所以最后就不署名，令我来传此诏令。没什么法子，大将军还是先退兵吧！”
刘备听罢，面色缓缓沉了下去，他不带感情地说：“长文先出去罢，我一个人想想。”
他随即在帐中枯坐三个时辰，一直到夜幕深深，枭鸟高鸣的时候，他才从营帐中走出，不带起伏地对令兵说：“让姓邯郸的进来。”
火红的灯笼引路下，邯郸修先是忐忑不安地进帐，很快又春风满面的离开，未过多久，汉军士卒皆知将归。
余下的夜里，刘备难以入睡，他只能抽出随身携带的中兴剑，对灯火细看，剑背光亮如境，照亮刘备的双鬓，使他不禁对剑自抚，才发现两鬓已有了几根白发。
刘备这才恍然，原来自己已然三十六了，过往的武人岁月，就像是须臾一箭穿过脑海，使他不禁感慨道：“武人身如刀剑，虽能百辟，但所用非人，亦常有竭时啊！”