若有牝雞司晨之事（注曰：謂皇后楊氏及外戚也），卿當為宗廟計。”之揚曰：“臣幸受先帝所拔，得顯行伍；賴陛下錯愛，忝列公卿。必當戮命輔佐，鞠躬盡瘁，死而後已。”
孝宗登基，之揚為託輔，拜太尉、錄尚書事、特進、侍中、假黃鉞。時楊零以外戚專權，勢熾朝堂，而之揚不敢與爭，惟謙退斂袖而旁立。延昌元年，楊零使帝尊之揚為太師（注曰：太師位高而無權），又封之揚為燕國公，趙政為趙國公。是年冬，之揚寢疾，楊零數遣人視，唯恐晚死。
二年春，趙之揚求徵趙默以囑託後事，許，徵趙默為司隸校尉，以趙默弟昌領幽州刺史。既至，之揚與默語曰：“楊零專橫跋扈，我退而彼囂，縣我於虛位，覬我以蚤卒，是可忍則孰不可忍？我將死矣，汝好生圖畫，彼驕恣若此，不日可除！其毋忘矣！”趙默垂泣許諾，三月，歿（注曰：之揚雖為公，而子孫篡弒，故而書歿，不言薨），時年六十九，諡忠武，趙獻篡位，僭尊其為太祖聖武皇帝，光宗踐阼，悉奪其爵諡。
之揚凡七子，默、卓、昌、勰、覃、州、乾，卓、州早夭，默別有傳，趙獻篡逆，昌、勰、覃、乾悉受偽職。
四年，默討楊零，趙政傳檄奉表，既殺之，以政遙領司徒。
五年歿，時年七十一，諡曰昭武，趙獻篡位，僭尊其為趙昭武王，光宗踐阼，悉奪其爵諡。
九子：澄、漣、濤、浣、湧、清、演、潤、洛，澄先其死，濤早夭，餘皆受偽職。
史臣曰：二趙從龍章武，用耀爪牙，鞍馬北宇，賓士河山，以是勒功績策，垂名勳籍，承封公之厚遇，蒙顧命之推誠。奈何失教於子孫，萌亂乎繼嗣，竟跪於畔臣之列，寘乎郭、韓之尾（注曰：郭孝成、韓豐也），遺笑萬古，冷齒千秋，詎非鑑焉？