可是众人一番苦劝，高顺始终默不作声，这让文远更加钦敬，历史上高顺被曹操俘虏后，高顺便是这般默然不语，然后曹操缢杀了高顺，高顺的人格也在他“默然不语”中得到了升华。
他沒有像张任那样，说出“忠臣不侍二主”流芳万世的言语；沒有象陈宫那样，做出激烈的反应，主动慷慨就义；沒有像文远这副身体的前一任主人那样，顺应时代的潮流，良禽择木而栖，就那样默默的，以一种无声的态度來表明自己的决定。
这是一种节操，一日为臣，终身为臣，哪怕所事非贤，也绝不变节背主。
文远颇有些不忿道：“高顺，其实你愿意为吕布守节，我就算成全你又如何呢，我就是给吕布兵马，让他统兵，但是军心在我，他又能翻出什么花样呢，我只要能驯服了吕布，你在他麾下，还是在我麾下，不一样还是要听我调令，”
这一点自信文远还是有的，河北军在宣慰佐吏的思想灌输之下，坚决忠诚于文远而非统兵的将领，文远相信，即便给吕布一支兵马，他也别想闹腾出多大动静。
可是高顺偏偏就是一根筋，文远话都说道这个份上了，高顺仍旧不为所动，见仍不能降服高顺，这让文远颇有些受挫的感觉。
高顺既然不降，原计划统领下邳原吕布军的差事就不能交给他去做了，文远连忙修书一封，令张颌迅速将吕布残兵打散编入青州兵建制之中，一旦改编完成就弃下邳北上，下邳这座孤城文远是不打算要了，被曹操刘备大军阻隔着，孤军留守迟早会被攻破的，与其那样倒不如经营琅琊郡，琅琊郡内多山，地势起伏，易守难攻，只需要少量兵马就足以扼住徐州咽喉。
至于下邳城的十余万口百姓，文远当然是不会白白便宜曹操和刘备的，我大军在此你不是不敢出战吗，我就让你们眼睁睁的看着我将这下邳百姓十余万口迁入青州。
建安四年元月末，在经历了一番紧凑的改编之后，张颌很快完成了对吕布军的吸纳收容，下邳十余万百姓也收拾好行装，在三万多青州兵的护送之下扶老携幼、浩浩荡荡一路向北而行。
沿途之上，还有徐晃上万骑兵一路接应，文远也大军迫近曹刘营寨予以严密的监控，如此一來，曹操刘备虽然早已探知下邳方面的动向，却不敢轻举妄动，眼睁睁看着十几万徐州丁口从郯城边上一路向北，被文远迁入青州。
建安四年二月，张颌领兵返回与文远会师一处，文远也不多做停留，早已准备妥当的他立即下令班师回邺城，路过琅琊时，文远留下张颌分兵三万镇守琅琊，令陈登徐州刺史留在琅琊遥治徐州，臧霸因久在泰山琅琊一带盘踞而被任命琅琊太守。
值得一提的是，臧霸、陈宫、宋宪、侯成等多名吕布帐下旧部來到文远军中之后，并沒有花费文远多大力气就向文远投诚，由此也可见吕布在其部下的心中已经何等不堪，肯为他尽节的只有高顺一个，这让文远心神稍松，吕布现在身边只剩下孤零零高顺一人，纵然有什么心思，也翻不出多大的浪头。
对于投靠之人，文远自然一一善待，拜陈宫为从事中郎，留在大将军府参议军事，臧霸为裨将军，东安亭侯，跟在张颌身边镇守琅琊、青州，