虞允文赶到采石之后，发现情况比自己想象的更加危急，王权逃跑时太过焦急，官兵争夺船只，因此翻船淹死的居然超过了半数，侥幸渡过长江的大多不知所踪。现在采石仅剩残兵三千多人，而且士气极其低落，由于主将王权不知所踪，官兵们人心惶惶，少数人甚至连逃跑的念头都兴不起来，只是一脸木然地等着金军过来俘虏。
无奈之下，虞允文急忙将那些军官先召集了起来，晓以大义，并说明很快就有大量援军赶来，军心终于暂时稳住。可也有两个畏敌如虎的军官无心备战，反而想找机会逃跑，并在军营中大肆散布悲观的言论。结果虞允文连他们的名字都没问，便命令时俊将那两人斩首示众，一时全军肃然。
但是，由于虞允文不是南宋官员，这战功统计和犒赏就成了大问题，好在虞允文以民族大义为先，在来不及请示赵抗的前提下，许诺战功将按照赵军标准的犒赏。届时立功的将士既可以选择直接领取金钱，也可以选择从此加入赵军，官阶和待遇只会上升不会下降，为了让军士们安心，虞允文许诺赏金先由赵国官府垫付，等日后再和南宋朝廷交涉。
在虞允文软硬兼施之下，这支士气本已濒临崩溃的队伍终于又重新振作起来，而随着散兵的逐渐归队，采石矶守军的总兵力已经接近八千人，而这时金军的主力终于向采石矶发起了猛攻
虞允文命令陆军严阵以待，暂时按兵不动，而将数量本就不多的水军分成五队，其中两队沿着东西江岸巡逻以防出现突发状况，并以信号旗协助虞允文指挥全军；最精锐的一队则开往江心准备截击金军；而剩下的两队则作为预备队随时支援。虞允文在兵力严重不足的情况下，还敢分散兵力，是因为他相信南宋水师的战斗力，另外，金军人数太多，若没有预备队轮换的话，对方只需采用车轮战，宋军恐怕累都累死了。他刚指挥布置完毕，金军已经鼓噪大进，完颜亮手持小红旗，指挥数百艘战船渡江开来，一会便有七十余艘大船抵达南岸，直接向宋军发动进攻。由于兵力众寡悬殊，不少宋军官兵心生怯意，金军逐渐占据了上风，恐怕不用多久便可以成功上岸了。
眼见形势危急，虞允文视如雨的箭石如无物，来到阵前，对已经跃跃欲试的时俊看了一眼，下令道，“胜负在此一举，现在就看你们的了，除非金军撤退，不得后退一步！”
“得令！”，时俊大喝一声，率领那三百勇士乘着预备队的战船如虎狼般冲向最近的金军大船。两船还未相接，时俊抽出一根毛竹在甲板上一点，借力冲上了敌船。随着他如雷霆般地一声大喝，时俊抽出了背上的双刀，瞬即化作白光一片，挡者无不披靡，而他的部下见主将如此勇猛，也个个争先，硬生生地阻住了金军的猛烈攻势。
金军不习水战是客观事实，他们一时的勇猛不过是受到前期连番胜利鼓舞而表现出来的假象罢了，如今这股锐气受到遏制，金军很快便原形毕露，战船上东倒西歪的比比皆是。而宋军的水师主力也在时俊他们的鼓舞下向金军的船队发起了势不可挡的突击
金军的战船虽大，但基本都是强征来的民用船只，底阔如箱，行动不稳，而且金军官兵又不熟悉长江水道，行动极其笨拙。而宋军所用的海鳅船虽然不大却异常结实，在它们的猛烈撞击下，金军的大船即使没有断成两截，也大多严重损毁，连开动都很艰难。两军船只的残骸漂浮在江面上随处可见，自然散发出一股颓废的美感，却再清晰不过地显示出了战争残酷的一面。虽然时俊他们勇不可当，而虞允文的战术也非常合理，但是双方的兵力对比实在太过悬殊，平均一个宋军士兵要对上一百多个金兵，就算他们站着不动让宋军来砍，宋军恐怕都会全部累死，要不是仗着战船的优势和对水战的熟悉，这一仗根本就没有半点获胜的可能。而且由于完颜亮下达了擅自后退者杀无赦的命令，金军官兵一边强忍着晕船的痛苦，一边顽强战斗，虽然付出了大量的伤亡，但在天色渐晚之后，金军终于又重新夺回了优势。
好在天无绝人之路，就在这时恰好有一支溃兵从光州撤到这里，虞允文顿时心生一计，便交给他们大量军旗和战鼓，让他们从后面转出来，以作疑兵。完颜亮生性多疑，果然中计，没过多久就让金军主动退出了战斗。宋军虽然初战告捷，但伤亡也很大，没敢追击就撤了回来，只留下一队在江面上巡逻以保持警戒。
白天一场苦战之后，宋军将士既兴奋又疲惫，但虞允文的脑筋依然非常清醒，他知道现在还远没到可以放松的时候。虞允文知道金军还会再来，命令水师主力移兵上游以压制金军，并在杨林河口布置兵力，结果试图偷袭的金军果然一头撞在了钢板上
虞允文生性稍显谨慎，所以在此前的北伐中表现并不能令人完全满意，但他在防守时却绝对当得起“无懈可击”这四个字。完颜亮看到采石坚如磐石、难以攻下，只能率军移师瓜州，准备夺回渡口，从那里渡江。但很可惜，他尝试的顺序弄反了，如果先集中兵力占稳瓜州，再水陆两面夹击采石，虞允文纵有不世之才，也必然没有回天之力。而现在，完颜亮注定要再碰一次壁了
赵昚虽然没什么军事才能，但皇帝亲临前线对士气的鼓舞是非同小可的，瓜州不是金军的主攻方向，恢复士气的宋军光靠人海战术就将渡口成功夺回，而先期上岸的千余金兵不是被砍死就是跳了长江。这次太过轻松的胜利造成了一个假象，赵昚开始觉得只要自己御驾亲征，便没什么敌人不能战胜，这成为他日后悲剧的源头。当然，至少在这次战役中，赵昚还是发挥了很大的作用。除了鼓舞士气以外，赵昚若是战死，赵抗即使不想当南宋的皇帝恐怕本手}}打也不成了，而南宋的士大夫们只要想到这种可能，就不觉一身冷汗，所以他们无论如何都不能让赵昚死在前线。正因为这样，瓜州前线无论是粮草辎重还是各路援军都是畅通无阻，即使是那些平时大捞海捞的贪官，这时也表现得堪比历史上有名的廉吏z