后涕泪沾巾，悲叹道：“我还想让羊公统帅征吴大军，怎料他竟然撒手西去了。”
在羊祜葬礼上，天子更是感情至深，当众流涕，对身边人说道：“羊公一去，我该把统一大业交给谁呢？”
结果在当年年底，龙骧将军、监梁益诸军事王濬突然上疏朝廷，自称已在益州造成楼船水师，足可横行江上，水战无敌。如果再拖宕时日，导致木船腐朽，恐怕伐吴就将再无机会了。
而在次年八月，新任镇南大将军杜预上任，他自行其是，率军突袭吴军名将张政，又将抓到的俘虏直接送往建业，以此激怒孙皓，使得孙皓临阵换将，以武昌监刘宪取代张政。
至此，伐吴的时机已完全成熟，虽然仍旧有王浑、贾充、荀勖等老臣反对伐吴，在这一次至关重要的辩论下，杜预、王濬等人的坚持取得了胜利，司马炎终于下定决心伐吴。
但耐人寻味的是，这次有人提出了一个极为费解的反对意见。
此人便是尚书仆射山涛，他私下里这么对司马炎说道：“天家不是圣人，若是消灭了外患，就必定会生出内忧，现在灭吴也就能让朝廷不再惧怕外敌，实际上却不利于长远啊！”
这话实在是莫名其妙，什么叫消灭外患就必定生出内忧，莫非打胜仗还能有坏处不成？还有那句诛心的“自非圣人”，又是什么意思？好在司马炎为政宽宏，既然决心伐吴，也就不在这些细枝末节上计较了。
咸宁五年（公元279年）十一月，西晋朝廷调集二十余万大军，以鲁公贾充为主帅，按照羊祜生前的战略计划，兵分六路：
龙骧将军王濬，广武将军、巴东监军唐彬自巴蜀顺江东下，直指建业；
镇南大将军杜预自襄阳向江陵方向进军，尔后南下长江、湘水，攻略交广；
平南将军胡奋自荆州攻夏口；
建威将军王戎自豫州攻武昌；
安东将军王浑自淮南攻江西；
镇军将军、琅琊王司马伷攻涂中。
晋军南下之际，恰逢吴国生乱。老将郭马在广州聚众谋反，合有万余众，吴主孙皓已遣名将滕修、陶璜等数万人平叛，致使本就捉襟见肘的长江防线更加空虚。于是各路晋军势如破竹，接连传来捷报。
次年正月，王浑、司马伷占领扬州江北岸的所有吴土，与吴军隔江对峙。二月，杜预攻破江陵，王濬攻破西陵、荆门、夷道，益州水师成功冲破封锁，进入长江中下游。
三月，张悌率三万吴军北渡长江求战，
…。。