朕跟梁王（兀朮）追趙構至海島，曾有大舟麼？”眾將聽聞也是大笑。蒲盧渾滿臉通紅，便退下了。完顏亮暗想，這蒲盧渾還真渾。我方舟小，宋方舟大，人盡皆知。但我方暗練水軍已久，這次也是有備而來，又是以寡擊眾。雖然船小，但是勝在數量多，有什麼好擔心的。加上順風順水，一戰而勝，並非難事。
倒是這個蒲盧渾，好象第一次知道，還大驚小怪，拿這個說事，分明會動搖軍心。自己乾脆開個笑話，振奮下士氣。
完顏亮先使部分水軍佯攻以試探宋軍虛實。宋軍識破金兵動機，未予反擊，江面並無動靜。完顏亮乾脆揮動小紅旗，命戰船數百，自楊林渡口（今和縣雙橋附近）出發，順風順水，向東岸衝來。及到近岸，突聞鼓號四起，只見宋軍從岸頭隱蔽處躍於灘上，嚴陣迎戰金兵。
完顏亮一看這宋軍佈置，倒也嚴整，只是人數偏少。等自己數百條船一靠岸，幾萬人馬一擁而上，踩也踩平了。就算遇到頑抗，後面的第二批金兵再登陸上去，肯定可以打贏。
完顏亮滿意地閉上眼睛，幻想著打下了臨安城，邊摟美女邊喝酒。突然聽到旁邊部下的驚呼聲，連忙睜眼一看，吃驚不小。明明是順風順水，戰船到了江中，竟然不能前進了，而且搖晃幅度很大。上面的兵士全都站立不穩，頭暈嘔吐。不是跌倒在甲板上，就是扶著船舷、船柱不敢鬆手，更談不上瞄準發砲、射箭了。
前面的七十餘艘戰船離岸較近，遭到了岸上的弩箭射擊。兵士們又無法還擊，只能捱打。乾脆紛紛跳水，朝對岸游去，確實也有許多上了岸，可惜大部被宋人射殺，留下少數也作了刀下鬼。
完顏亮忙問左右，為何船會如此。大家都答不上來，蒲盧渾想了想說，應該是船底太寬的緣故，所以在江上，行動不便。完顏亮罵道，你個渾球，方才不是說，船太小嗎？船底又怎會太寬。蒲盧渾吃了個憋，滿臉怒色，又不敢發作。
金軍雖然人多，但由於船停在江心，無法前進，根本發揮不了作用。想要退回來，又因逆風，加上船體搖晃劇烈而不能。完顏亮被氣得不行，又無可奈何。
待得江面風弱，宋軍水師開始反擊。金軍的船隻依舊搖擺不定，但迫於情況緊急，上面的金兵也零散地射箭還擊，只是毫無準頭。宋軍海鰍船踏車之士，雖系新徵民工，卻毫無懼色，冒著射來的飛箭踏車前進。兵將見民工這般勇敢，深為感動。海鰍船衝入金軍船隊，將其船隊攔腰截斷。由於海鰍船頭包堅鐵，撞到敵船的側邊就能捅個大窟窿。金軍的船隻紛紛破裂，船上金兵也大半溺死江中。金人顧不上還擊，拼命將船後駛，以逃厄運。說來也巧，那些後退的金船搖晃就不那麼明顯了，得以順利脫困。
完顏亮不甘失敗，將其餘船隻重新集結，準備再次進攻。這時天已傍晚，暮色蒼茫。適有一隊自光州（今河南潢川縣）撤下的宋軍路經採石，虞允文立即讓他們自山後至江邊往返運動擊鼓，充作疑兵。據載，當時採石附近百姓，也來助戰觀戰，採石至東梁山沿江山坡灘岸，連綿數十里喊聲不絕完顏亮忽聽岸上鼓聲震天，人聲如潮，又見“山上人皆駐足動，遂成江南壁立萬仞之勢”，以為宋援軍到達，慌忙下令退兵。
原來楊過臉戴銀製面具，和虞允文一起站在岸邊高地，指揮宋軍迎敵。待到敵船行到江中的關鍵處，楊過手握軒轅劍的劍柄，暗中借用神劍之威對金人的船隻進行壓制，不僅使它們再難前行，而且搖擺不定，如此引得金人大敗。而且寶劍至始至終都佩在腰間未曾出鞘，根本讓人無法懷疑。
楊過和虞允文預料完顏亮雖遭重創，但不會死心，必將卷士重來。於是連夜部署：將戰船秘駛楊林河口，封鎖金軍出入的水道；另派一隊海鰍船停泊於楊林河口上游，船上盛以火箭和霹靂炮，安置一批神射手，以用霹靂炮和神臂弩殺傷