北漢自郭威建立後周時便與之為世仇，建宋之後兩國交惡的形勢依舊沒有改變。
趙大為剷除割據政權，完成統一全國的大業，與宰相趙普商議，參考後周顯德二年（公元955年）北部郎中王樸所獻“平邊策”，制定了“先南後北、先易後難”的統一戰爭戰略方針，準備首先吞併南方各割據政權，在取得南方雄厚的人力物力後，再集中力量對付北面的強敵遼國，消滅北漢。
因北漢比較弱小，且處於戰略要地河東，為阻遏其與遼軍南下來襲，宋軍常對北漢以攻為守，先後發動多次進攻，企圖相機進取。
譬如在乾德元年（公元963年）七月，趙大在平定荊湖謀伐後蜀之際，就曾派安國節度使王全斌等進入北漢邊地試探性的征伐北漢。
北漢睿宗劉鈞向遼乞援，想對宋打反擊戰。
王全斌等則趁遼尚未發兵，奪佔北漢樂平，並攻打遼、石二州，未果而撤退。
次年正月，宋軍又來進攻遼、石等州，北漢遼州刺史杜延韜降宋，北漢再次向遼告急，遼穆宗耶律璟發騎兵六萬馳援，將宋軍擊退，成功助北漢解圍。
開寶元年（公元968年）平定後蜀之後，北漢國主劉鈞剛死，人心未定，趙大趁機突然轉兵大舉進攻北漢。
八月宋軍進兵太原，九月北漢內部便發生動亂，時任供奉官的侯霸榮殺死北漢新主薛繼恩，司空郭無為又設計殺死候霸榮，迎立太原尹劉繼元為國主。
新君劉繼元見宋軍已入其境，急忙向遼請援，同時命侍衛都虞候劉繼業、馮進珂等領兵扼守團柏谷以拒宋軍，可惜敵我實力相差懸殊，宋軍輕而易舉的擊敗北漢守軍擊，直逼太原城下。
十月，趙大遣使至太原勸降，劉繼元拒絕降宋。
十一月，遼軍兵馬總管塔爾率大軍救援北漢，逼進太原。
時任昭義軍節度使的李繼勳因久攻太原不下，遼軍又至，遂引兵南歸。北漢軍乘機發動追擊，進掠大宋晉、絳兩州人口、糧草、牛羊歸北漢者無可計數。
開寶二年（公元969年）二月，趙大命曹彬、党進各領兵先赴太原，又御駕親征在後，誓要一戰滅北漢國。
劉繼業、馮進珂二將得知趙大已至潞州，並派李繼勳率前軍趕往團柏谷，自知寡不敵眾，放棄太谷奔還太原。
因大雨連綿十多日，等到三月時趙大才趕到太原。
因先前數次較量中清楚的認識到了太原城之堅固，又恰巧暴雨誘使河水猛漲，遂徵發當地民工數萬人，修築長牆包圍太原，並築長堤，引汾水灌城，多方進攻。
然而太原軍的抵抗意志實在超乎尋常，這般惡劣的環境中硬是抵抗了三個多月，致使宋軍遲遲無法破城。
以至於到了夏季，天氣酷熱，宋軍營中數萬人患上疫病，又逢遼軍出兵救援北漢再三權衡之下，趙大隻能選擇退兵。
出乎眾人意料的在於趙大撤軍沒出兩天，太原城牆就因為先被水淹再被烈日暴曬，出現了大面積的龜裂，甚至有多處垮塌。
這也就是說如果最開始趙大不急著攻城，而是先讓太原泡幾天水，再把水抽乾暴曬，那不用宋軍動手，城牆自己就會倒塌了。
趙大等君臣得知此事後也是追悔莫及，只可惜現實就是現實，沒有如果發生。
開寶八年（公元975年）十月，南方最後一個大國南唐也被征服，趙大再興北伐之舉，並準備收復燕雲。
次年八月，先派侍衛馬軍都指揮使党進、宣徽北院使潘美等分率五路軍馬又雙叒叕雲集太原城下，與北漢軍和來援的遼軍展開激戰。
然而，就在宋軍得勝北漢將亡的關鍵時刻，遠在汴梁的趙大突然駕崩，他的死再一次打亂了宋朝內部的政治格局，以至於潘美等部亦受影響，北