就在趙匡胤為是否撤兵而猶豫不決之時，跟隨他一同出征的太常博士李光贊呈上了一道奏疏，這裡面的內容很長，概括來說就是：“陛下你英武神明，小小的一個太原根本不值得你如此大動干戈。現在天下並不太平，如果我們在這裡傷了元氣就會被那些心懷不軌的勢力所圖謀。我們現在不如班師回京，然後留下重兵駐守上黨，每年夏天我們派兵過來搶收他們的麥子，每年秋天來搶收他們的稻穀，如此一來北漢遲早被我們所耗空國力，到了那時候再取太原就易如反掌。還望陛下聖斷！”
這份奏疏先是拍了趙匡胤的馬屁，然後又針對現狀剖析利弊且正中要害，最後還給趙匡胤想出了應對的法子。看完之後，趙匡胤心中也是一陣舒暢。他召來宰相趙普商量班師之事，趙普也建議他班師。就此，趙匡胤決心已定——撤兵。
在李光贊之後，絳州一“善數術”之人向趙匡胤進言道：“陛下，我們撤軍之後應該在北漢四周廣建軍寨，同時把太原附近的居民遷往太行山以東，如此不但砍了北漢的民力，還可斷絕北漢的賦稅，不出幾年北漢必定窮弊，到時候太原必然可不戰而得。”
這個向趙匡胤進言的人名叫薛化光。此人在宋史裡並不怎麼知名，但他有一個名叫薛奎的兒子卻在仁宗朝時期官至參知政事（副宰相）。儘管如此，薛奎也不算什麼宋史裡的名人，可薛奎有兩個女婿在宋史裡卻是大名鼎鼎，其一為他的第三女和第五女的丈夫王拱辰（天聖九年的科考狀元，先後擔任開封知府、御史中丞、三司使、吏部尚書，王安石變法期間的鐵桿保守派），薛奎的另一個女婿（第四女的丈夫）更是了不得，此人的大名堪稱家喻戶曉——歐陽修。換言之，這個薛化光乃是歐陽修的老丈人的父親。
趙匡胤非常欣賞並採納了薛化光提出的這條建議。就這樣，宋軍一面在積極準備撤軍的各項事宜，一面又在短短的數天時間裡收攏了太原附近各個州縣的一萬餘戶居民。
一萬多戶居民，四萬人左右的人口，在如今也就是一個鄉鎮的人口，但在當時失去這幾萬人對北漢皇帝劉繼元來說可是相當的肉疼，簡直是要讓他捶胸頓足。
北漢位於今天的山西省中部和北部地區，總計十州之地，在盛唐時期有二十七萬九千一百餘戶人口，真正的民眾百萬之地，但自打安史之亂之後這片地方就從來沒有太平過，戰爭、兵役、苛捐雜稅，這裡的人死的死跑的跑，到了北漢立國之時，這裡的人口已經根本無法同極盛時期相提並論。不過，說這些都沒用，說一個事實就能有一個直觀立體的認識：十年之後，當趙光義滅亡北漢時，他所拿到的戶籍人口冊子上面清清楚楚地記錄著北漢全境當時的人口是——三萬五千二百餘戶 。也就是說，趙匡胤這時候至少遷走了北漢四分之一的人口。
無論古今，人口都是最直接的生產力，是一筆巨大的財富，兵員、賦稅、各種勞役雜役都得指望這些老百姓，所以戰爭時期經常看到獲勝的一方搶奪人口，甚至是將一座城池劫掠一空。遇到趙匡胤這種人還算好的，雖然離鄉背井但卻會給你一個地兒安置你，如果遇到那種只搶女人和財物，男人、老人和小孩全部殺光的畜生和野獸那可真叫一個人間地獄。
一陣緊張忙碌之後，宋軍終於是開始撤軍了，但趙匡胤給他們的準備時間還是短了一些，根本不夠用。當然，這也不怪趙匡胤，原因就在於遼國人的大軍越來越近了，如果不抓緊時間離開太原，要是被遼軍的大兵團給咬上了勢必會有一場惡戰。宋軍全軍上下包括趙匡胤在內都沒有做好與遼國人進行一場大戰的心理準備，一旦宋軍跟士氣正銳的遼軍交上火勢必會極其狼狽，甚至是慘烈。關於這一點，明朝時期的土木堡之戰就是一個很好的參照。
果然，在宋軍撤退的時候遼國人就追了上來。不過，遼國人也不是全軍皆起