安後，劉賀的荒誕行徑更是變本加厲。在為先帝守孝的關鍵時期，他沒有絲毫哀傷之情，反而整日與親信們在宮中嬉笑玩樂，對朝政大事不聞不問。他將皇宮當成了自己的遊樂場，肆意妄為，毫無顧忌。不僅如此，他還大肆提拔自己從昌邑國帶來的親信，短短數日，便任命了兩百多名官員，試圖迅速將朝廷大權掌握在自己手中。這些親信大多是他在昌邑國時的酒肉朋友，毫無治國理政的才能，他們的驟然得勢，讓朝堂之上的老臣們憂心忡忡。
劉賀的種種行為，無疑觸犯了霍光的底線。霍光意識到，自己犯下了一個嚴重的錯誤，選錯了人。如果任由劉賀這樣胡鬧下去，不僅大漢江山的穩定將受到嚴重威脅，自己多年來苦心經營的權力格局也將毀於一旦。霍光深知，自己必須採取果斷行動，否則後果不堪設想。
霍光秘密召集了朝中的重要大臣，丞相楊敞、車騎將軍張安世等。這些大臣們平日裡對霍光敬畏有加，此刻齊聚一堂，心中都隱隱猜到了霍光的意圖。霍光面色凝重，目光如利刃般緩緩掃過眾人，隨後言辭懇切地表達了自己廢黜劉賀的想法。他歷數劉賀的種種罪行，每一條都足以讓他失去皇位。大臣們聽後，起初都感到震驚和猶豫。廢黜皇帝，這是一件關乎社稷的大事，稍有不慎，便會引發天下大亂，招來千古罵名。
朝堂上一時陷入了沉默，氣氛緊張得讓人窒息。霍光見狀，進一步闡述了自己的理由，他強調，劉賀的行為已經嚴重危及到了大漢王朝的根基，如果不及時廢黜，將會給國家和百姓帶來巨大的災難。他的語氣堅定，眼神中透露出不容置疑的決心。在霍光的堅持和說服下，大臣們經過一番激烈的討論，最終還是同意了他的提議。畢竟，在他們心中，維護大漢江山的穩定才是首要任務。
隨後，霍光帶領著大臣們前往長樂宮，向太后奏明瞭劉賀的種種罪行。太后聽後，勃然大怒。這位太后，正是霍光的外孫女上官氏，雖貴為太后，卻也在霍光的掌控之下。此刻，她順應霍光的意願，當即同意了廢黜劉賀的請求。
於是，霍光等人在未央宮承明殿，舉行了一場莊重而又嚴肅的廢黜儀式。當宣佈廢黜劉賀的詔書宣讀完畢時，劉賀還沉浸在自己的荒唐世界中，如夢初醒。他瞪大了眼睛，滿臉的不可置信，試圖反抗，卻被霍光的親信們牢牢控制住。就這樣，劉賀還沒來得及真正享受皇帝的尊榮，便在短短二十七天後，被趕下了皇位，成為了西漢歷史上在位時間最短的皇帝。
廢黜劉賀後，霍光再次面臨著選擇新皇帝的難題。此時，朝中一位名叫邴吉的官員向霍光推薦了一個人——劉病已。劉病已是漢武帝戾太子劉據的孫子，因巫蠱之禍，襁褓中的他便被捲入了這場巨大的政治災難之中。當時，太子劉據被奸臣江充誣陷，被迫起兵反抗，最終兵敗自殺。劉病已的父母也在這場變故中不幸身亡，他則被關進了監獄。
在獄中，劉病已度過了一段艱難的時光。然而，幸運的是，他得到了邴吉等官員的悉心照料。邴吉深知太子劉據是被冤枉的，對劉病已這個無辜的孩子充滿了同情。他在獄中為劉病已找來了可靠的乳母，精心呵護他的成長。後來，漢武帝得知劉病已尚在人世，或許是出於對太子劉據的愧疚，或許是念及血脈親情，他下令將劉病已收養於掖庭，並恢復了他的皇室身份。
霍光對劉病已並不熟悉，但在邴吉的極力推薦下，他決定對劉病已進行一番考察。他派人暗中觀察劉病已的言行舉止、為人處世。經過一段時間的觀察，霍光發現劉病已為人謙遜有禮，舉止得體，平日裡勤奮好學，對儒家經典有著深入的研究。而且，劉病已自幼生長在民間，深知民間疾苦，對百姓的生活有著深刻的瞭解。這些優點，讓霍光覺得劉病已是一個不錯的皇位人選。
於是，霍光再次以太后的名義，徵召劉病已進京即