紹興十一年正月，宗弼親率近十萬大軍直入淮西，企圖以戰迫和。南宋派張俊、楊存中、劉錡率軍迎敵，並命嶽飛領兵東援。嶽飛尚未趕到，楊存中、劉錡與張俊的部將王德已在柘皋（今安徽巢湖東北）大敗金軍。張俊準備獨吞柘皋之戰的功勞，打發楊存中、劉錡還軍，豈料宗弼命孔彥舟回師攻陷亳州，並重創前來救援的楊存中與王德軍，嶽飛聞訊馳援，金軍安然渡淮北上。
嶽飛兩次增援淮西都慢了半拍，其表面理由一是本人&ldo;寒嗽&rdo;（感冒），一是軍隊&ldo;乏糧&rdo;，是否夾雜有對高宗阻撓北伐的不滿，則不得而知。但這點不久就成為他受迫害的口實。
高宗與秦檜本來就處心積慮地企圖削奪武將兵權，如今在兀朮的要求下，罷兵權又與屈膝求和聯絡在一起。紹興十一年四月，他們採納了給事中範同明升官爵、暗奪兵柄的建議，調虎離山，將張俊、韓世忠和嶽飛召到臨安，任命張俊與韓世忠為樞密使，嶽飛為副樞密使，把三大將原先主持的淮西、淮東與京湖三宣撫司統制以下的官兵都劃歸三省、樞密院統一指揮調動，一律改稱統制御前諸軍。
韓世忠與嶽飛對朝廷此舉感到突然，張俊因與秦檜早已達成幕後交易，約好盡罷諸大將，兵權都歸他執掌，便帶頭交出了兵權。惟恐韓、嶽聯手，高宗宣佈韓世忠留御前任用，張俊、嶽飛前往原韓家軍駐地楚州措置戰守事宜。
張俊所乾的儘是肢解韓家軍、撤毀江北防務的勾當，嶽飛作為副職完全無能為力。當嶽飛知道秦檜與張俊正在唆使親信誣陷韓世忠企圖謀求重掌兵權，便通報給了韓世忠。世忠急忙面見高宗，號泣投地，高宗知道他除力主抗金外還是比較聽話的，念他在苗劉之變中救駕有功，終於保全了他。
接下來，高宗、秦檜就把迫害的黑手伸向了嶽飛。在南渡諸大將中，嶽飛是出身最低、功勳最著、抗金最力的。朱熹以為中興將帥以嶽飛為第一，但說他&ldo;恃才而不自晦&rdo;。確實，嶽飛個性剛正耿直，不但不善於保護自己，還在兩件大事上冒犯高宗，加深了高宗的忌恨，引來了殺身之禍。
其一忌紹興七年四月，因高宗在讓他節制淮西軍北伐問題上出爾反爾，嶽飛一怒之下上了廬山。高宗視其為&ldo;要君&rdo;，鑑於金人威脅還在，不得不好言撫慰促其下山，但同時引太祖&ldo;犯吾法者，惟有劍耳&rdo;以示警告，在表達不滿時，已暗藏殺機。
其二即同年八月，嶽飛出於忠心，建議高宗立儲。這年，高宗才三十歲，他唯一的兒子三歲的趙旉早在八年前就驚悸而死，而他在揚州潰退時因驚嚇引起性功能障礙，再也無法生育，成為他的難言之痛。嶽飛立儲建議有兩大忌諱，一是觸犯了正值而立之年的高宗性無能的忌諱，二是觸犯了祖宗家法中武將不得幹預朝政的忌諱。
高宗的厭惡、忌恨和反感是可以想見的，嶽飛實在是太欠思量。再加上嶽飛在抗金大計上毫不妥協，宗弼以殺嶽飛作為議和的交換條件，高宗、秦檜以屈膝求和作為鞏固自己皇位與相權的根本之計，於是，嶽飛便非死不可。
紹興十一年七月，秦檜唆使他的死黨万俟禼以諫官身份彈劾嶽飛，顛倒是非的罪名有三，一是&ldo;日謀引去，以就安閒&rdo;，二是淮西之戰，&ldo;不得時發&rdo;，三是淮東視師，沮喪士氣。第一個罪名暗指嶽飛辭職上廬山一事，第二個罪名是指沒能及時馳解淮西之圍一事，第三個罪名完全把張俊撤除防務的事情栽到嶽飛的頭上。
此月，嶽飛意識到處境的險惡，上表辭位，懇求高宗&ldo;保全於始終&rdo;。他被罷去樞密副使，改任宮觀閒職。但高宗顯然不想保全他，罷政制詞裡說嶽飛有&ldo;深釁&rdo;，&ldo;有駭予