隋军与裴文安相持数日，裴文安越发忧心忡忡。眼看对面的隋军实力一日日强大，眼看没几日便和自己手上的兵力差不多了。
裴文安正苦寻破敌之策的时候，杨谅的命令已到达军中。
实际上黄河一战，汉王叛军士气大降，擅自出击的裴文安根本瞒不住杨谅。
西进大军兵败的消息传回并州之后，杨谅大惊，他无论如何也没有想到杨广不仅没有杀死杨素，反而起大兵讨伐于他，更吃惊裴文安三番两次的兵败。
黄河一战，貌似戳破了汉王叛军强大的童话。
这时豆卢毓又劝道：“大王，裴将军兵败，并未杨广之奸计。”
杨谅不解。
豆卢毓乃说道：“大王，您当初筹谋起事，广积兵马，难道杨广不曾知？臣料其不过是想做第二个郑庄公，故意逼大王起兵，他则早在关中布置了重重兵马，等待大王的大军压境。”
杨谅大惊道：“这怎么可能，双方这才交战几日，他哪有这个时间集结各府部队？”
豆卢毓说道：“杨广监国大半年，有什么事是他做不了的？既然我军可以提前布置，为何杨广又不能有所准备？河东有黄河天险，他怎么会愿意在河东大王的地盘上与我军决战。而一旦我军到了关中，其主动权便落入杨广的手上。”
杨谅觉得豆卢毓的话很有道理，反倒相信杨广之前的弱势样子是故意引诱他出击。
这时北据一派的人纷纷言裴文安冒进兵败，丧师辱国，不遵王命，形同悖逆，需要重惩。前些日子裴文安得胜，西进一派的人也纷纷得势；这一次裴文安兵败，杨谅为了平衡势力，同时拉拢北据一派，也只得处置裴文安等人。
杨谅决定主力撤兵，并召回裴文安。
杨谅的令旨到了裴文安的军中，杨谅以隋军势大，难以一战胜之为由，命裴文安立刻撤兵返回并州。以大将纥单贵担任蒲州道行军总管，王聃为蒲州刺史，二人率部四万坚守蒲州。杨谅并命纥单贵破坏蒲州南部的黄河大桥，严防隋军渡河。
裴文安心中大惊，虽然百般不情愿，但他不是真正的领兵将领，在军中并无威望，没了杨谅的任命，他根本无法指挥纥单贵、茹茹天保等将领，因此只得无奈地率军撤退。
裴文安此时心中仍然不甘心，乃上奏杨谅道：“用兵之机，贵在诡速。我直袭关中，本想出其不意，攻其不备。不料大王临阵变策，既不亲征，召我回军，使敌方有了窜息之机，转危为安。如今我军大事去矣！”
裴文安对于杨谅撤兵的做法，既充满了疑惑，又失望至极。
杨谅也觉得愧对了裴文安，心中过意不去，但是他心中仍是觉得要稳妥为上，因此并未对裴文安的话做正面回应，而是继续随心行事，责令众将立即停止进攻，分散防守各地。
也许是杨谅不愿意见裴文安，当然也是为了惩罚裴文安的兵败，杨谅任命裴文安为晋州刺史，即刻上任，而茹茹天保率大军返回。事实上从此刻起，裴文安被排挤出汉王集团的核心圈层。
接着杨谅又任命薛粹为绛州刺史，梁菩萨为潞州刺史，韦道正为韩州刺史，张伯英为泽州刺史，打定了主意坚守。
九月七日，裴文安向北撤兵，临撤退之时，还在蒲坂以北布置了上万军队，准备趁机伏击隋军。
裴文安还是不甘心就此离开，因此准备再赌一次，赌黄明远的贪心。
河西岸的隋军眼看对面的汉王叛军要撤走，心道此时是破敌的好机会，纷纷请战，附尾追之，被黄明远拒绝。
独孤览等人不解，纷纷问询。
黄明远乃说道：“裴文安此人，书生掌兵，虽然不能打大仗、硬仗，但最是诡计多端。他善于发挥文人的狡黠本事，多用兵用险用奇。若是裴文安真的要退兵，必然会小心翼翼，遮掩情况，防范我军追击，而裴文安却一反常态，弄得人尽皆知，岂不有异。此次他狼狈兵败，颜面大损，吾料其必然心中不甘，这才如此大张旗鼓，就是为引诱我军渡河追击。而裴文安必定是在某处布置了伏兵，就等着我军上钩。”
众人大解。
黄明远嘲笑道：“如此小儿，用兵不走正道，就以为打仗就是几个文人吹嘘的羽扇纶巾，运筹帷幄，谈笑破敌，真是笑话。”
却是令众人回营歇息。
众人眼看无果也是无奈，只得依令。
原本众将以为今日之事就这么过去了，谁曾想到了晚上二更时分，黄明远突然召集众将，点兵出战。
虽然黄明远猜测裴文安是故意诈自己回返，但其如此大的声势却做不得假。斥候来报，整个汉王叛军大营之中已经完全空了，全军也已开拔。
黄明远知道若是裴文安只是想着趁机诈自己一番，不会如此麻烦，现在其不见踪迹，便说明其必然是真的撤兵了。
看来历史上裴文安不入关中，应该也是这个情况，莫名其妙地撤兵了。
黄明远虽然不知道原因，但不代表黄明远不会趁机打裴文安一个措手不及。
隋军全军出击，大军到了河边，对面并无人马，河面寂静无声。
黄明远乃命人将收集的几百只商船一字排开，上覆木板，用铁索相连，搭建成一个简易的浮桥。黄明远又在木板上铺上许多草，人马踩上去俱没有声音。
黄明远以士兵口中衔枚渡过河，人马皆是无声的渡过了大河。
过河之后，黄明远以独孤览为前锋，令