及至高澄當國，執掌大權，開始變得倨慢無禮，經常讓黃門侍郎崔季舒在宮裡觀察元善見的動靜，所以對他的一舉一動高澄都是瞭如指掌。元善見心裡自然悲憤不平，經過崔季舒密告，高澄便知道了魏主對自己的不滿，高澄於是趁著與元善見在大殿飲酒，舉起酒盞，對他道：“臣勸陛下喝下這杯酒。”
元善見看了看他手中的酒盞，又看著高澄一臉傲慢的神情，頓時怒起，側頭仍不言語。
高澄含怒作色，又道：“臣給陛下敬酒，陛下為什麼不喝？”
元善見面露不悅，終於忍無可忍，冷聲道：“自古以來沒有不亡的國家，亦沒有不死的君主，如今連喝酒都不能自己做主，朕又何必苟且偷生，這樣屈辱地活著。”
高澄起身慍道：“朕，朕，狗腳朕！”說罷，命崔季舒打了元善見三拳，奮衣而去。
元善見被崔季舒打得又青又紫，俊美的臉上留下幾塊瘀傷，嘴角流出鮮紅的血。
他看著高澄離去的背影，悲憤不已，卻不能縱聲大罵，只能忍下這口怒氣。
直到第二天，高澄派崔季舒去大殿慰問元善見。他雖然怒氣未消，但是見崔季舒進殿，也不敢表現出任何不滿情緒，反倒要向他言謝，甚至表示歉意，並賜給崔季舒百匹絹。
元善見不堪侮辱，以筆來宣洩心中的鬱悶和怨恨。他坐在案前隨手寫了一首謝靈運的詩句：“韓亡子房奮，秦帝魯連恥。本自江海人，忠義動君子。”
荀濟一直站在元善見身後，見他寫的詩也是十分悲憤。荀濟深知元善見的心想，於是跟祠部郎中元瑾、長秋卿劉思逸等人一同密謀，欲將高澄除掉。
他們決定偷偷開地道，通到北城千秋門到達高澄的住所，命派去的勇士們從地道刺殺他。不過讓他們沒想到的是，守門的侍衛已經發覺地下有響動，還將此事告訴給了高澄。
高澄命人去檢視以後才知道，下面有一條地道是從自己的住所通往宮中的。他氣得火冒三丈，令侍衛將荀濟等人抓獲，囚禁了起來，當下又率兵入宮見了東魏主。
高澄推門闖入，怒目看著元善見，竟然不顧禮數，張口質問他：“陛下為何要謀反？我們父子功存社稷，忠心耿耿，從未負過陛下。”說著，看向周圍的妃嬪，突然起了殺心，“想必是你周圍的侍從和妃嬪在從中進讒，所以你才這麼做的！”
元善見亦怒道：“自古只聞大臣謀反，卻從未聽說君主反臣子的！是你想謀逆篡位，又何必來指責我！我不害你，你也必會害我。我連自己的生死都顧不了，何況是妃嬪。你若想弒君篡逆，也都隨你！”
高澄竟啞然無語。他知道自己言語太重，於是連連叩頭謝罪，啼哭不止，並且連夜設宴請罪，但三日後卻將元善見幽禁在了含章堂。
在這段期間，高澄的親信楊愔曾來牢獄中看過荀濟。他看見鐵牢裡關著一個年邁的老人，身著囚服，白髮也是凌亂不堪的。楊愔見他如此狼狽的模樣，不禁嘆了嘆，“荀公待在這裡想必是吃了不少苦，不如你隨我一同輔助齊王（高澄），何必在這裡受罪。”
荀濟聽見熟悉的聲音傳來，很是優美，抬頭時只見一位容止可觀的男子正站在牢門外。
荀濟直言道：“楊遵彥，你認為你還能侍奉他多久？高澄一向傲慢跋扈，目中無人，他若一直這樣下去只會樹敵，最終會落得怎樣的下場，想必你一清二楚，又何必去效忠這種人。”
“獻武王（高歡諡號）對我有知遇之恩，所以我定會盡心幫助高氏一族，讓他們無後顧之憂。”楊愔淡淡地道，“荀公，看在我們同僚一場，我才好言相勸。你已是遲暮之年，何苦為了一個傀儡皇帝做這些事，害了自己？”
荀濟答道：“我雖然人已老，但壯氣還在！”
見到這樣忠