鳳凰元年，孫皓更加肆意，窮兵黷武，以致上下皆怨。孫皓出行，常帶鐵騎五萬，群臣俱恐。丞相萬彧、將軍留平、大司農樓玄，皆因直言進諫而被殺害，前後十餘年，殺忠臣四十餘人。
羊祜見孫皓失德，上下離心，伐吳天時已現，乃上表洛陽。其表略曰：“夫，運數雖天所授，然功業必因人而成。今江淮之險不如劍閣，孫皓之非過於劉禪，吳人之困甚於巴蜀，大晉國力強於往時。若不於此際蕩平江南，再陳兵相持，使四海不一，天下不寧，誠否天意也。”司馬炎見表，即欲興師。賈充、荀勖、馮紞三人諫曰：“孫皓雖失德，士民雖有怨，然其國中未生變，一旦我大兵南下，其必一致相拒，反使其上下同心。倘久戰不克，我兵必鈍，若無功而返，再圖江南，則無望矣。不如暫按甲兵，待吳自亂，那時我不費吹灰之力，馬到即平，豈不美哉？”晉帝聞言，乃罷伐吳之意。羊祜聞之嘆曰：“世上不如意事，十常八九，今天予不取，大可惜哉。”
咸寧四年，羊祜入朝，奏請歸鄉養病。司馬炎曰：“卿將去，有何安邦良策，以教寡人？”羊祜曰：“孫皓暴虐已甚，今可一戰而克，若皓忽歿，更立賢主，則江南半壁，非陛下所能圖也。天時既與，即當取之，否則，一旦天機錯失，悔之莫及。”帝驚曰：“卿今提兵伐吳如何？”羊祜曰：“臣年老多病，不堪此任，陛下另選智勇之士可也。”遂辭晉帝歸鄉。羊祜多年以來，所得俸祿，或賞賜軍士，或贍給九族，家中清貧，並無餘財。晉帝聞之，甚是感嘆。
是年冬月，羊祜病重，晉帝親臨南城縣問安。羊祜淚下曰：“我主大恩，臣萬死不能報矣！”司馬炎濺淚曰：“朕，深悔未用卿伐吳之策，今誰可續卿，獨當荊州一面？”羊祜曰：“臣將辭世，思進餘忠，已修下薦表，今聞御駕親蒞，又令人焚之。右將軍杜預，可當此大任。”晉帝曰：“舉善薦賢，自古美事，卿何故薦人於朝，又自焚薦表，不使人知耶？”羊祜曰：“拜官公庭，謝恩私門，臣所不取。”言畢而亡。
司馬炎大哭回京，素服三日，敕命追封羊祜為太傅、巨平侯。羊祜享年五十八歲，南城百姓，罷市舉哀。江南守邊將士，聞皆遙祭。襄陽人，因羊祜昔日常遊峴山，乃於此山建廟立碑，四時祭祀。往來之人見碑文，無不淚下，世人名之曰“墮淚碑”。
後，唐人胡曾有詩曰：曉日登臨感晉臣，古碑零落峴山春，松間清露頻頻滴，恰似當年墮淚人。
晉帝聽羊祜之薦，拜杜預為鎮南大將軍，都督荊州事。杜預，老成練達，好學不倦，坐臥常手持《左傳》，時人稱為‘左傳癖’。自受詔命，於襄陽撫民養兵，準備伐吳。
吳國丁奉、陸抗皆故，吳主孫皓更無忌憚。每宴群臣，皆使大醉，又令黃門郎十人，各奏眾官醉言過失，或剝其面，或挖其目，致使國人大恨。
益州刺史王浚，上疏伐吳。疏略曰：“孫皓荒淫凶逆，吳楚離心，賢愚俱怨，伐吳天時已至，若一旦皓死，更立明君，則難圖矣。臣造舟七年，日漸腐朽，世事無常，願陛下勿失天予之機。”晉帝覽疏，謂朝臣曰：“王浚之論，與羊祜不謀而合，朕決意伐吳。”侍中王渾奏曰：“臣聞，孫皓欲北征，軍伍已備，聲勢正盛，不如暫緩一年，待其兵疲，乘勢伐之。”司馬炎遂降詔，按兵不動。
一日，司馬炎與秘書丞張華，圍棋消遣，忽杜預表至。表略曰：“凡事，以利害相較。度今伐吳，利可一統天下，害不過無功。自秋以來，我伐吳之勢頗露，孫皓已恐，今我按兵，倘孫皓完修諸城，遠遷其民，則城不可攻，野無所掠，明年之計徒然也。”司馬炎覽表，左右難決。張華起身奏曰：“陛下聖武，國富民強，孫皓暴虐，民怨國敝，今若伐之，一戰可平，陛下勿憂。”司馬炎喜曰：“卿言洞然，朕無疑也。”即升殿，大下詔命：鎮南大將軍杜