算是嚴顏也不敢要劉備再留下來。若是臨江當真失守了，只怕到時劉備不要說進攻江州。就連能不能保住性命都是一個問題。
劉備點了點頭，說道：“軍師，若我軍此時退兵，張繡會不會還未說完，諸葛亮就搖頭道：“主公放心，張繡他們還不知道臨江之事。故此不會料到我軍會退兵，主公且令諸位將軍立即讓士卒收拾行裝。我們連夜撤軍。張繡知道我軍撤兵，恐怕已是天明，到時江州的步卒根本追不上我軍，張繡能派來的也就是甘寧的水軍，單單那幾艘運糧船和走柯，張繡的水軍不能做些什麼，主公無需擔心。”
劉備聽得，點了點頭，說道：“翼德、叔至、文長，汝等且去整軍。準備撤兵，仲業則負責水軍撤退之事四人聽得。同時應諾之後轉了出營。
待得眾人都出去之後，只有嚴顏和劉備、諸葛亮三人留在帳中。嚴顏向著劉備拱手一禮。說道：“顏有老小在江州在張繡手上，皇叔要去臨江。恐顏不能相隨了劉備聽得。與諸葛亮相顧無語。嚴家乃是江州有數的大族，嚴顏助劉備與張繡為敵。張繡沒有拿嚴顏老小開刀已經算是仁至義盡。若是嚴顏隨劉備到臨江，只怕張繡就會下手。嚴顏個人雖不懼死亡。但為了家族的傳承。嚴顏亦不得不屈服。
劉備聽得，最後卻是擺了擺手，說道：“老將軍家小皆在張繡手中。不隨備一同離開備亦理解。明日一早張繡若來。老將軍就領著營中那些受傷的兵卒降了張繡吧。這些受傷的兵車若是到了臨江，只怕十不存一，留在這裡起碼還有活下去的希望。上天有好生之德劉備對著嚴顏說了一大段的話，感動得嚴顏這個見慣風雨的老頭子都是熱淚盈眶。最後卻是點頭道：“皇叔且放心，顏此去絕不會投在張繡兒麾下效力劉備聽得這話。終於停下了口，沒有再說話，只是凝重地點了點小頭，向著嚴顏一抱拳道：“老將軍，且保重”。
嚴顏亦一抱拳道：“皇叔保重！”
這時張飛等已經整軍完畢，劉備立即和手下眾將急急離開大營，往臨江方向趕去。
第二日一早，張繡和太史慈、甘寧三人領軍來到劉備大營前。網準備進攻，就見到嚴顏命人將大營門開啟。率傷兵投降了。
張繡見得，極為驚訝，吩咐太史慈處理好嚴顏和傷兵的情況。同時急急將龐統和法正招來。龐統來到營中，聽到劉備撤軍了也甚是驚訝，自言自語道：“孔明或能想到我軍之用意。但劉備不可能就此甘心退兵的！究竟哪裡出問題了小法正微微一笑，說道：“士元何須煩惱。將嚴顏招來，一問自知張繡聽得，點了點頭，立即派人將嚴顏帶過來，未幾嚴顏被帶到。張繡立即就問道：“老將軍，不知劉備為何會連夜退兵。”
嚴顏聽得，只是哼了一聲。並沒有回答。張繡聽得。有些尷尬，臉色變了數變，旁邊的甘寧見得張繡顏面被落。也怒哼了一聲，喝道：“老兒。且不要給臉不要臉。我家主公問你話是看得起你。莫要忘了汝現在的身份，若是不配合我軍小心你嚴家一家老你應該知道老子以前做的是什麼勾當，殺個一家百餘口。老子連眼睛也不會眨一下嚴顏聽得，臉色又紅轉為鐵青，張繡心中暗笑，暗贊甘寧機敏。輕拍了一下甘寧的肩膀，說道：“老將軍。興霸方才所言只是戲言，本將確實想知道劉備為何退兵。若是老將軍不方便說，本將亦不強求。”說完笑意盈盈地望著嚴顏。
嚴顏見得張繡和甘寧主從兩個一唱一和，哪裡還不知道話裡的意思。輕哼了一聲之後。卻是將因為臨江附近出現一支敵軍而退兵的詳細情況告訴了張繡等人。
張繡聽完。瞭然地點了點頭，派人將嚴顏領下去好好招待，而後才問法正和龐統道：“孝直，士元，汝等以為如何？我軍不可能再有能力分兵取臨江，這究竟是哪裡來的部隊？”
龐統在低頭沉思。法正卻是面露笑容。指了指西