生怕被韓信所趁。
所以他對秦軍的屢屢挑釁充耳不聞，而是將大軍緊緊的縮為一團，耐心的等待著後繼大軍到來，不給韓信任何的可趁之機。
既然已經勝券在握，那又何必去冒風險呢？反正秦人的隊伍絕對逃脫不出他的手心。
殊不知韓信要的就是他的謹慎，若是冒頓將隊伍化整為零避而不戰，轉而繞道四處襲擾秦人的撤退隊伍，那一定會讓韓信極為頭疼。冒頓的小心也為韓信帶來了更多的時間，他一面派人督促隊伍火速南下，一面派出使者南下和趙歇商談。
趙歇是最早起兵的幾個大諸侯之一，他原是趙國的公子，是惠文王的曾孫，趙國滅亡後便流落民間，在市場靠著給人搬運雜物為生。當年陳勝派武臣經略河北時，張耳和陳餘跟隨武臣重建了趙國，並勸武臣脫離了陳勝自立為趙王。後武臣被叛將李良殺死，陳餘和張耳逃出了邯鄲，找到了趙歇重新返攻回了邯鄲，立他做了趙王。
後來章邯大軍北上圍攻鉅鹿，陳餘北上代郡徵集了精兵數萬，南下囤軍於鉅鹿之北。
當時圍困在鉅鹿的趙歇和張耳派出敢死之士突圍而出向陳餘求援，讓他攻擊王離的圍城大軍已解鉅鹿之圍。陳餘因為懼怕北軍的強大，便不肯出兵，這讓張耳寒心不已，兩人本是刎頸之交，多年生死與共的患難兄弟，卻因此生出了裂痕。
鉅鹿之戰後，張耳為了表示不滿便向相國陳餘請辭，沒想到陳餘竟然一口答應了下來，這讓張耳憤怒不已，最後率大軍出走跟隨項羽入關。趙歇則聽從陳餘的主意打算坐山觀虎鬥，坐視楚國和秦國生死鏖戰，並未跟隨項羽入關。
趙歇和陳餘的觀望態度讓項羽十分惱火，他自立為西楚霸王后，分封天下的時候便故意將趙歇從趙王改遷為代王，而反秦功勞顯著的陳宇只是封侯而已。追隨他入關的張耳卻被封為了常山王，封地在趙地的精華所在邯鄲郡、鉅鹿郡和衡山郡。
項羽的不公也讓趙歇和陳餘對他恨之入骨，這也就給了秦國和趙國合作的前提。
敵人的敵人就是朋友，這個道理秦代的人一樣懂的。在韓信大軍出征的時候，秦國派出的使節偃師道就已經渡過了大河踏上了趙國的領土，他是奉命前往晉陽和趙歇商談秘密會盟一事。
雖然偃師道的談判結果韓信仍然不知道，但他料定了趙歇不會干涉他和匈奴的戰鬥。趙歇手中的兵力原本就不多，若是損耗在無謂之上，那冒頓一定不介意順手滅掉趙國的，將河東之地收為匈奴的牧場。
所以不論談判結果如何，趙歇都一定是坐擁堅城自守，任由秦軍和匈奴交戰。
趙歇的觀望也為秦軍南下消除了阻擋，數十萬南撤隊伍便全力向太原郡奔去。韓信在得知匈奴的會合大軍已經趕到，便立即掉頭便跑，在冒頓追上他之前逃之夭夭。
他不是傻瓜，讓秦軍和數倍於己的匈奴大軍正面交戰，那不是送死那是什麼。如果沒有南撤隊伍的拖累，韓信或許能仗著奇謀不弱下風，可有了南撤隊伍的拖累，他的騎兵就喪失了最為重要的機動力。南撤隊伍成了他的一個死結，他必須全力去保全而不能置之不理。
韓信脫離和匈奴大軍的接觸後，疾馳撤了回來和王涇會合。靠著爭取到這二天的時間裡，南撤的秦人隊伍終於趕到了雁門郡和太原郡交界處的一處小關隘，翻過這座關隘，便是趙地了。
守關的趙軍不知道是得到了上頭的命令，還是因為畏懼秦軍勢大在秦軍到達前就已經逃的人去城空了。王涇派人迅速接掌了關隘，城門大開讓南撤隊伍火速透過。
韓信趕到時隊伍正在過關，仍有大半的秦人在關外排隊等待著。韓信陰沉著臉看著迎面走來的王涇等人，有些惱火的說道；“匈奴人就在我身後沒有多遠了，最多一個時辰就會追上來了，隊伍必須要加快速