冊立為皇后以後，鳳娘更是目中無人，有一次竟然話中有話的譏諷太上皇后謝氏與孝宗不是結髮夫妻，氣得孝宗把老臣史浩召來討論廢黜事。史浩從穩定政局出發，以為絕不可行，廢后之事這才作罷，但雙方關係卻充滿了火藥味。
光宗只有一個兒子，時封嘉王，是皇位理所當然的繼承人。留正勸光宗早日立儲，光宗就去找太上皇，不料孝宗對他說：&ldo;當初按例應立你二哥，因為你英武像我，才越位立你。而今你二哥的兒子還在。&rdo;意思很明白，趙愭絕後，皇位應該再回到趙愷一脈。孝宗這一安排原因有二：其一，彌補對趙愷的歉疚心理；其二，他發現嘉王&ldo;不慧&rdo;，而趙愷之子嘉國公趙抦早慧。光宗在大義與情理上不能回駁太上皇，內心卻是老大的怨懟，父子關係劃出無法彌合的裂痕。
李皇后知情後，決定親自出面為兒子爭回皇位繼承權，他在一次內宴上向太上皇發作：&ldo;我，是你們堂堂正正聘來的；嘉王，是我親生的。為什麼不能立為太子？&rdo;太上皇勃然大怒，光宗默不作聲。
不久，太上皇知道光宗心臟不好，搞到一張秘方，合了一丸藥，準備在光宗來看望時給他。李鳳娘知道後，竟挑唆光宗說：&ldo;太上皇打算廢掉你，準備給你服的那丸藥，就是為了好讓嘉國公趙抦早點繼位。&rdo;光宗信以為真，不去見孝宗，把原先規定的一月四朝的約期也拋諸腦後。
光宗的妃嬪多起來，碰上李鳳娘卻是個悍妒的醋罈子。一天，光宗洗手，見端盆宮女的雙手白如凝脂，嫩似柔荑，大為愉悅。幾天後皇后送來一具食盒，裝的卻是那宮女的雙手。李鳳娘對光宗最寵愛的黃貴妃早想下毒手，就趁紹熙二年光宗祭天不住後宮的機會虐殺了她，再派人到祭天齋宮報告黃貴妃&ldo;暴死&rdo;的訊息。因為祭天大禮，光宗不能趕回後宮看個究竟，他也深知鳳孃的歹毒，只是哭泣個不停。事也湊巧，次晨祭天時猝不及防發生了火災，轉瞬間大雨冰雹劈頭而下，雖沒把光宗燒死，但諸多變故交織在一起，他以為自己獲罪於天，嚇得神經從此失了常。
直到紹熙三年春天，光宗才能勉強升殿聽政，但也經常目光呆滯，精神恍惚。他的病情時好時壞，還有點週期性，歲末年初比較穩定，偶爾還去朝見太上皇，開春到秋末神志就基本不正常。理智清醒時，他還想做個明君，曾為自己能把陳亮由禮部走名第三擢為第一而喜形於色。但昏政已司空見慣，蜀帥吳挺死了半年，他還固執的以為活著而不派新帥。邵熙二年歲末以後的兩年半時間裡，南宋王朝就是由這樣一個精神病患者君臨天下的。
光宗一年裡犯渾的時候多，那時他絕對不願去朝見太上皇，孝宗不同意立嘉王的舊癥結，使他疑慮與妄想父親要廢黜或加害自己。這事在臣下看來事關君德與孝道，於是近臣口敝舌焦的諫諍，外臣連篇累牘的奏疏，都勸諫光宗過宮朝見太上皇。有時，光宗在壓力下，勉強答應某日過宮，屆時侍衛儀仗全體出動，闔城百姓駐足翹首，他卻出爾反爾，釀成一次次過宮風波。
紹熙五年初，太上皇逐漸病重，起居舍人彭龜年叩首苦諫過宮探病，額血漬紅了龍墀，也沒能感動他。從太上皇犯病到去世，他竟一次都沒有去過北內。個別得睹&ldo;天顏&rdo;的大臣不敢說出病相，無緣得睹&ldo;天顏&rdo;計程車庶軍民卻被光宗的所作所為所激怒。葉適建議宰相留正將光宗病狀遍告群臣，免得不明真相的老百姓&ldo;輕議君父&rdo;，留正卻以為人臣決沒有對皇帝說&ldo;你有病&rdo;的道理，聽任人心浮動，政局動盪。
六月，孝宗去世，光宗拒絕出面出面主喪。大喪無主，是前所未有的人倫大變，社會變亂隨時可能發生。宰相留正與知樞密院事趙汝