方今已是夏末近秋，眼看著秋糧收割在即，這六萬將士無法散兵收割糧食，再加上運糧徵調的青壯勞動力，如此耗下去，江東今年秋收必然將受影響。
無奈之下的孫權，終於認清了事實，遂只留魯肅等率萬餘兵馬守柴桑，自率五萬大軍撤還江東。
孫權是意圖讓魯肅重建柴桑。從別郡遷民填充，逐漸恢復柴桑的經濟，待來年後孫權再重新率軍征伐荊州。
孫權的心思，顏良自然是早有所料。
於是孫權這邊大軍一撤，顏良立刻率三萬大軍由夏口而發，作出一副大舉進攻柴桑之勢。
魯肅心知以殘破之柴桑，萬餘兵馬，根本敵不過士氣旺盛的顏良進攻。只能向孫權發出求救。
尚在還吳路上的孫權，聞知顏良再度來襲，只得急又率軍折返而還。
而當顏良探知孫權回援時，卻又迅速的撤兵回夏口，繼續作擁兵觀望之狀。
如此往復，攪得孫權是疲於奔命。
留多兵馬駐守柴桑吧，又沒那麼多糧草供給。留兵少吧，又不免為顏良的優勢兵力所殲滅。
原來還喜於奪還柴桑的孫權。這時卻感覺到。這座廢墟的城池，反而成了雞肋一般，食之無味，卻又棄之可惜。
最終，百般無奈之下，孫權只能在魯肅的建議下，將西線駐軍之地。由柴桑移至了湖口。
湖口一地，據守著鄱陽湖入江之口。其戰略性雖比不得柴桑，卻亦為軍事要地。
吳軍退出柴桑。意味著就此放棄了重建這座軍事重鎮，也意味著荊州與揚州之間，出現了方圓百餘里的無人緩衝區。
逼得吳人放棄柴桑，顏良的戰略目標已然達到，至少在柴桑城重建之前，荊州東部的威脅將減輕至最低。
此時的顏良，終於可以騰出手來，準備對付龜縮在荊南的劉琦這股餘孽。
於是，在魯肅退守湖口不久，顏良遂留甘寧守夏口，自將大軍西歸，前往巴丘與呂蒙、魏延二將會合。
而劉琦聞知東吳退軍，顏良大軍前來，哪裡還敢再逗留片刻，當即便率軍退還了長沙。
中軍大帳。
酒氣熏熏，氣氛融洽，顏良設小宴，以美酒犒勞這兩個為他保住後方不失的良將。
呂蒙和魏延所鎮守的巴丘雖然不是主戰場，但二人卻成功的把劉琦堵在了荊南，保住了江陵、夏口等大後方的安全。
“子明、文長，本將能在柴桑戰退吳人，你二人功不可沒，來，咱們滿飲此杯。”
顏良肯定了他二人的功績，豪然興杯。
二將欣慰，口中稱謝，舉杯飲盡。
美酒下肚，主臣之誼更深一分，這帳中的氣氛愈加輕鬆。
“子明，本將率師前來，正想一舉蕩平荊南，滅了劉琦那小子，如何南下用兵，你可有何看法？”
邊是飲酒，顏良邊向呂蒙詢問。
呂蒙卻道：“主公，末將倒以為，眼下並不是掃平荊南的時機。”
“此話怎講？”顏良頓起了興趣。
“劉琦有黃祖的一萬水軍，麾下還有黃忠此等悍將，據末將這些日來的觀察，劉琦所部還是頗有些戰鬥力，主公盡起大軍南下，蕩平劉琦自然是不在話下，但也要耗一些時日。而方今正值秋收之際，倘若只為平定劉琦，就誤了今歲的秋收大事，末將倒以為有些得不償失。”
呂蒙這一番話，不禁讓顏良愈加刮目相看。
平常將領，縱然是良將，所能考慮到的，無非也只是用計用謀而已。
而眼前的呂蒙，卻還考慮到了秋收之事，很顯然他的目光不僅僅只侷限於用兵軍事，而是更為深遠。
“這個呂子蒙，果然是有帥才的天份，很好，很好……”