更北的地方透過。
但從韶州府（今廣東韶關地區）至廣州府之間，這一路沿北江北上都有清軍的據點，第51團沒有渡口也沒有船隻過北江西岸。本來這些清軍據點是為了支援廣州城的清軍對付聯軍而用的，現在清廷已與五國和解，這些據點連成一線卻成了阻礙第51團西進的防線了。而且第51團在花縣附近等候廣州軍情站支援的地方向導時，被敵軍發現，遭到聯軍與清軍一萬多人的不斷追擊，有幾次都差點陷入險境。要不是孫大雄果斷改變部隊前進方向，可能第51團還處於聯軍與清軍的圍追堵擊之中呢！這個時候，孫大雄非常感謝曾成志把所有的俘虜處理掉了，不然部隊還要騰出至少一個連計程車兵看護，那真是一個很大的累贅啊！
第51團不敢再向西進，折向東，然後再向北，到了廣州府東北部的從龍縣，才算徹底擺脫掉聯軍與清軍的追擊。西進是參謀部制定的既定方針，第51團還得再度尋找西進的突破口。在人民軍軍情部廣州情報站情報員的帶領下，第51團向北挺進，一路上過關斬卡，翻越廣東省中部的青雲山脈後，最北處到達韶州府（今廣東韶關地區一帶）滑石山脈。在滑石山地區不斷與清軍捉迷藏一個多月後，第51團設計攻下清軍設在韶州府英德縣的西頭渡口，並強渡北江，這才算順利衝破清軍的封鎖線。
在肇慶府的北部是多山的少數民族地區，此地清軍勢力薄弱，人民軍第51團渡過北江天險後，南下至肇慶府的廣寧地區，並智取廣寧縣城，在此休整一段時間後，第51團有人提議部隊繼續西進，可以進入廣西梧州府，他們認為作為在外征戰幾年的第51團也該回到人民軍根據地好好休整休整了。這個建議都是第51團那些出來幾年的老兵們面對就在前面的人民根據地自然地勾起了思鄉想家的情緒而提出來的。
參謀部的命令能違抗吧？政治部的人與團部領導怎麼能接受這種建議呢？在孫大雄嚴厲的督促下，部隊繼續南下，從肇慶府的高要縣外側穿過，進入肇慶府的新興縣地區，並在大雲霧山山腳進行了自轉移以來的第三次休整。
第51團自公元1854年8月底開始西進，幾經周折，輾轉幾千裡，經歷大小戰鬥無數，歷時十個多月，才順利完成人民軍林逸主席與參謀部下達的軍事命令。第51團依託大雲霧山佔據有利地勢，掐住廣州至粵西交通的中段，並俯視平坦的陽江州與赤溪廳地區，處於可進可退的有所作為的有利位置。
在公元1855年5月聯軍大規模進攻粵西人民根據地時，第51團主動出擊，多次搔擾聯軍大部隊的進軍路線，大大延緩了聯軍的進軍速度。要不是第51團對聯軍第一集團法第11師及英第15師的搔擾，可能法第11師和英第15師至少要提前兩個時辰到達馬貴鎮人民軍第七師第20團的阻擊陣地，那麼也就等不到人民軍第6師的到來解救人民軍第20團了。這樣的話，粵西人民軍的大撤退可能還會更提前，可能還有更多的老百姓遭殃。
人民軍第51團必竟兵力有限，他們並無力改變整個聯軍進攻的勢態。在粵西人民軍大撤退時，為了儘量能給粵西的人民軍減輕一些壓力，他們更加主動地搔擾聯軍後勤補給線，至到他們的彈藥消耗過巨，已無力再發動任何像樣的進攻後，他們才退入大雲霧山，進行第四次休整。
粵西人民軍大撤退之後，奉命進入敵後陽江州地區展開運動戰的人民軍第6師，在軍情部情報員的引領下，與在大雲霧山休整的第51團接上了頭。兩軍建立聯絡後，並沒有匯合在一起，第六師僅僅只是派遣師後勤連隊給第51團送去大量補給並傳達人民軍參謀部對第51團的最新作戰命令。參謀部要求第51團進入赤溪廳展開特種作戰，打擊聯軍陸上的後勤補給線路。
第51團儘管很失望參謀部還是沒有命令他們回師根據地