李世民立即下令把更多的精锐骑兵集中在窦建德已经有动摇迹象的左翼上。李世民率先出发，大军跟随在后，向东涉过汜水，直扑敌阵，开始总攻击。窦建德的军队由于猝不及防，加上疲惫，已经出现了部分的崩溃，但其精锐骑兵还是进行了有效的对抗，掩护形势窘迫的窦建德后撤靠近东面的山坡。该处处于泗水流域东部的悬崖地区，是一个不错的防御地形。

同时由于窦建德骑兵数量众多，唐军的骑兵突击稍显不利，李世民立即命令其他骑兵支援。唐军淮阳王李道玄挺身冲锋陷阵，直冲出敌阵后方，又重新返回冲入阵中，几番进出，身上聚集的箭像刺猬毛一样，勇气仍然不减，向窦建德军阵连续放箭。一时间战场尘土飞扬遮天蔽日，血腥的格斗达到了白热化的地步。

唐太宗李世民

但夏军的防御阵地转移的代价则是造成了较大的混乱。李世民现在决定出动自己的王牌，他亲自率领最精锐的一千名玄甲骑兵，在程知节（就是程咬金）、秦琼等悍将的伴随下对窦建德的军阵发动最后猛烈的冲击。玄甲军们卷起旗帜，一直等到骑兵冲锋穿透了整个夏军的军阵直达悬崖附近，才在夏军的阵后展开之前卷起的唐军大旗。窦建德的军队本来就士气低落，现在看见唐军的旗帜纷纷飘扬在自己的阵后更是惊恐万分。这时，从侧翼迂回的唐军骑兵也已经到达，和玄甲骑兵进行合击，窦建德大军迅速全面崩溃。

根据统计，有3000多名夏军在唐军的冲杀中被直接杀死， 50000名以上的夏军被唐军俘虏，李世民当天就遣散了这些俘虏，让他们返回家乡。窦建德则被长矛刺中，一直逃到牛口渚躲避。唐车骑将军白土让、杨武威追逐窦建德，窦建德落马被俘。

窦建德大军的溃败消息很快传到了洛阳，早已筋疲力尽的王世充于6月4日投降。虎牢关之战的伟大胜利让唐军在一场战役中打垮了两个强大的对手，再加上唐军名将李靖在南方的胜利，使得唐王朝统一中国已经没有任何悬念。3500名精锐骑兵（应该还要加上本来虎牢关的守备军）击溃12万大军，这场中世纪早期骑兵的经典战例，可载入世界军事史册，也是李世民个人军事生涯上的最高峰。