，恐怕以後要為社稷擔憂了！”唐玄宗不悅，張九齡只好謝罪退下。
開元二十五年（公元737年），玄宗罷張九齡而拜李林甫為相，後世有人認為這就是唐朝由盛轉衰的分水嶺。李林甫在相位十九年，由“開元盛世”進入了“安史之亂”，正應了張九齡的政治預言。
開元二十四年（公元736年），唐玄宗打算任命牛仙客為尚書。牛仙客沒啥學問，本來是管內務的，相當於後勤部長，李林甫自己也不學無術，就在玄宗面前極力推薦牛仙客。
張九齡反對說：“此事萬萬不可。尚書是重要官職，大唐以往都用曾任宰相的人做尚書，要不然，也是做過要職、富有德行和聲望的人才能擔任。牛仙客原本不過是個小官，沒什麼從政經驗，忽然任命他擔任這麼重要的職位，天下人會如何議論呢？”
唐玄宗想想有道理，就說：“那就封他個爵位吧！”
張九齡說：“太宗以來，本朝制度便只封賞有功之臣，陛下一定要賞賜牛仙客的話，金帛也就可以了，封他土地、官爵是不合適的。”
唐玄宗終於大怒，說：“你嫌牛仙客出身微寒？你自己門第就很高貴嗎？”
張九齡一聽，連連頓首請罪，但仍堅持己見，說：“臣是來自嶺南蠻荒之地的孤賤之人，的確不如牛仙客來自中原。但臣出入臺閣，掌管誥命多年。牛仙客不過是個邊陲小吏，目不識丁。韓信不過是淮陰一介武夫，尚且羞與小人同列。陛下要是堅持任用牛仙客，臣實在以此為恥。”
玄宗聽了很不高興。第二天，李林甫趁機趕來挑撥離間，說：“牛仙客可是個宰相之材呢，怎麼當不了尚書？張九齡是文員出身，拘泥於古書，因此有失大體。只要有才識，何必一定要有文才學問呢？天子用人，有何不可！”
玄宗於是堅持任用了牛仙客。張九齡自己也意識到屢次惹玄宗不悅，早晚會被李林甫加害，趁著玄宗有一次賜自己白羽扇，作了一篇賦，最後兩句是：“只要能在適當的地方發揮作用，即便有殺身之禍，也不在乎。”可見張九齡對自身處境也很清楚，但他始終堅持氣節，的確十分符合史書上讚美他的評語：“直氣鯁詞，有死無二，彰善癉惡，見義不回。”
後來唐玄宗居然還是讓牛仙客當了宰相，但他實質上不過是李林甫的走狗，只會唯唯諾諾，下屬請示意見時，他只會說：“照老樣子辦。”沒有半點處理的辦法，完全不是當宰相的料。如此，朝政等同被李林甫一手操縱，變得越來越昏暗了。
（三）
安祿山還在邊境上當小軍官的時候，有次入宮奏事，一副桀驁不馴的德行，張九齡就對一個大臣說：“這個小蠻子，一定會搞得北部邊境大亂。”
開元二十四年（公元736年），安祿山率軍*契丹，犯了冒進的錯誤，落得大敗，被范陽節度使張守矽綁起來押送到京城問罪。張九齡說：“張守矽必須要嚴格執行軍法，安祿山不能免去一死。”但唐玄宗赦免了安祿山的死罪。張九齡堅持說：“安祿山狼子野心，面有逆相，十年後必亂，應馬上殺死，以絕後患。”
唐玄宗很不高興地回道：“不要誤害忠良。”居然放虎歸山，把安祿山放回邊境，當白衣將領，並在四五年後得到重用。到天寶十年（公元751年），安祿山已控制了三個重要軍鎮，擁兵幾十萬，佔全國軍馬三分之一以上。
天寶十四年（公元755年），安祿山聯合心腹史思明等公然叛國，強大的唐朝自此進入長達八年的“安史之亂”，逐漸走向衰落。唐玄宗倉皇逃往四川，終於想起了賢相張九齡是何等忠直，不禁老淚縱橫，寫下一聯追憶並懺悔：“蜀道鈴聲，此