蔡京之子蔡絛（tao）寫的《鐵圍山叢談》更是記載，後蜀滅亡後，趙二見到並喜歡上了花蕊夫人，可惜被趙大捷足先登，趙二氣不過勁，自己得不到的就要毀了她。
於是，他有次趁趙大不注意，直接辣手摧花，一箭射死了花蕊夫人。
不過據北宋邵博《聞見近錄》記載，趙二射殺花蕊夫人是不想趙大沉溺女色，他本人並不喜歡花蕊夫人。
實際上，花蕊夫人在後蜀滅亡後，她的事蹟已經不見正史記載。
“晁氏曰：偽蜀孟昶愛姬，青城費氏女，幼能屬文，長於詩，宮詞尤有思致。蜀平，以俘輸織室，後有罪賜死。”此話出自《永樂大典》，所記乃是花蕊夫人被押往開封不久，就被趙大隨便找個罪名賜死了。
除此之外最有名的當屬趙二強暴了南唐後主李煜的妃子小周後，《避暑漫抄》、《啽囈集》、《南唐拾遺記》、《宋稗類鈔》、《豔異編》等一眾野史都沿用了這個說法。
甚至還有記載稱趙二強暴小周後時，並且讓畫師當場畫下一幅名畫《熙陵幸小周後圖》。
可實際上《熙陵幸小周後圖》壓根經不起推敲，與正史記載嚴重不符。
這幅畫的最早記載出現在明朝。明朝人沈德符在《萬曆野獲篇·果報·勝國之女致禍》中提到了這幅畫。
但宋朝的史料、野史、文人筆記乃至記錄小周後入宮的《默記》中均無此畫的記載
歸根結底，趙二此人非常注意自己的名聲，他為了自己繼位的合法性，費盡周折，努力打造一個明君形象，是不大可能在關鍵時刻節外生枝，讓自己承擔好色荒淫的惡名的。
也正是花蕊夫人和小周後的野史，讓趙二坐實了好色之徒的名聲。
然而，《太宗本紀》中的趙二並不是一個好色的皇帝，這點可以從他後宮嬪妃數量可窺一二。
終其一生，趙二的妻妾也只有十三人，當中前三位皇后還是在死後追封的，並且除開明德皇后李氏，因為其父為開國功臣李處耘，其兄為名將李繼隆而多有記載之外，其餘的妻妾記錄都非常簡單，沒什麼重要的事蹟。
這樣的數量，對於一個皇帝來說當真並不多。如果趙二是個好色之徒，他後宮嬪妃數量不可能這麼少。這最起碼能說明趙二並不怎麼貪色。
而且，趙二的後宮一片和諧，風平浪靜，沒有什麼宮鬥戲碼。
因為趙二繼位後，一門心思想做出一番大事業超越他親哥哥，堵住天下悠悠之口，注意力根本就沒有放在兒女情長上。
可惜，歷史真相有時候並不重要，前人的風花雪月，離奇八卦才是永恆不變的主題。