梁太子死後，民間漸漸有一種說法，說趙絕了梁的宗祠，而且在近十年開疆拓土中，殺戮太重，所以子息不豐。皇帝后宮三千佳麗無一生養，連太子妃亦絕了育，東宮幾年無出。
趙延昌心裡清楚，這些謠言未必來自梁國遺臣，多半是自己的臣子們不甘心：他們的女兒仰慕太子威儀，日日遙望東宮而不得入，上京不知有多少貴族小姐在閨中蹉跎青春，卻讓一個不能生育的女人獨得太子寵愛，這叫他們情何以堪？
兒媳遇劫，趙延昌並非不相信她的清白，故意對她冷淡，只不過要她知趣，別想一輩子獨佔太子。趙氏皇族就剩這麼一個有生育能力的男人，怎麼能讓她一個人霸著？
誰知兒媳一場大病，兒子就瘋了，藉口肅清北方邊疆，在上京整整待了三年未歸。
山不就他，他只好就山，提前帶著孫子們遷都上京。
現在舊事重提，趙延昌又動了心。兩個孫子實在太少了，諾大的禁宮，裡面有多少房子空著，要能多生幾個孩子，也顯得熱鬧些。
人心都是不足的。記得剛有堯兒時，他想，要是再有個弟弟就好了，免得堯兒太孤單。等到阿旦出生，他又想，要是再有個妹妹就好了，可憐趙家要推到四代以前，也就是他爺爺那一輩，才有個姑祖母，也早過世了。趙家幾代沒生過女孩，他真的很想要一個孫女啊。
基於此種心理，趁著兒子平定海疆歸來，宮裡大擺慶功宴的機會，趙延昌讓一些候選女子隨她們的母親進宮，當堂表演才藝。
可惜兒子興致缺缺，浪費了他的一番苦心安排。
後來的一段日子，趙延昌想了許多辦法，全都沒有奏效，也不知兒子真不懂還是裝不懂，總之油鹽不進。
再找兒媳談？那可不敢，上次就是找她談才把兒子惹毛的。
最後，趙延昌想，解鈴還需繫鈴人，與其找媳婦，不如直接找兒子。
於是他以爺兒倆好久沒一起喝酒為由，把兒子叫到自己宮裡，趁酒酣耳熱之際，半真半假地提出要為兒子再納幾房姬妾。如果兒媳容不下，只要讓她們懷孕了，立刻移居別室，從此不再露面都成。
趙延昌覺得自己差不多在哀求了，兒子卻只是一言不發，若有所思，弄得趙延昌心裡七上八下、惴惴不安。
果然，當晚兒子就出了事。
他喝醉了，回去時在臺階上跌了一跤，弄得原來在戰場就曾摔斷過，好不容易才接好的腿，又跌斷了。
趙延昌氣急敗壞地趕過去探視，怕兒子真斷了腿，更怕兒子騙他。
事實證明，兒子就是騙他。
可兒子堅稱腿斷了，不良於行，不能上朝，不能視事，不便繼續留在太子位上，請求以皇長孫為儲，自己去溫暖的南方養傷。
趙延昌自然不肯答應，父子倆僵持了大半年，最終，他的胳膊沒扭過兒子的大腿——他的胳膊從沒扭過兒子的大腿。
就這樣，兒子再一次帶著媳婦棄他而去。
那晚趙延昌抱著酒瓶躲在房裡哭，張懷安在門口陪著他哭，末了勸道：“皇上，您要想開點，太子撂挑子走了，皇太孫還小，您可要保重啊。”
趙延昌懷著最後的希望問：“要是朕釋出公告，說朕忽得暴病，不能視朝，太子會不會回來？”
“會。”
“要是朕順勢禪位，他會不會接受？”
“不會，大概會直接把皇太孫推上去吧。”
“可堯兒還那麼小。”
“太子在一旁輔佐就行了嘛。皇上，連奴才都知道，太子根本不想當皇帝。您也說過，他一生只喜歡兩樣東西，一樣是習武，一樣是太子妃。當了皇帝，這兩樣都沒了。”
“怎麼會沒了？”
“怎麼不會，