这杨谅其实就是被父母宠坏的孩子，在父母的宠坏下生出了不该有的野心，所以杨谅在真要反的时候也有点犹豫。但就在他犹豫的时候，有人撺掇他来了。谁撺掇呢？两个南方人，一个叫王頍，一个叫萧摩诃。
这两个人是因为他们在现有的隋朝政权体制下郁郁不得志从而希望隋朝大乱。王頍是南朝中的梁朝大将王僧辩的儿子，父亲被陈霸先打败诛杀之后他投靠北方，后来参与隋朝灭南陈的统一大战。、在南陈灭亡之后，他挖开陈霸先的陵墓，把陈霸先的尸骨火化成灰，调成“骨灰茶”，喝下了肚子以报陈霸先的杀父之仇。这足以见证他的心胸，故即使此人不仅精通经学，而且熟读兵书，号称“倜傥有奇略”，自认为有将相之才，但是在隋朝一直没有受到重用。萧摩诃是江南陈朝的大将，以勇猛称著，陈朝灭亡之际投降隋朝，但是到隋朝之后也受到排挤。要知道，杨坚时期掌权的都是关陇贵族和一部分山东士族，这两个南方人纵有文韬武略，也难以施展，自然郁郁不平。他们投身在汉王杨谅府中看到汉王有不臣之心，就开始极力撺掇。
恰恰在这个时候，并州又忽然传出来一首童谣：“一张纸，两张纸，客量小儿做天子。”这首童谣是什么意思没人知道，可是杨谅就开始瞎猜了。他说，我小名就叫阿客，大名叫杨谅。另外，我又是家里最小的儿子，这所谓“客量小儿”，不就是在说我吗？所以，这童谣说明，我要得天命，当天子了！既然天命如此，那我还有什么好犹豫的呢？
于是汉王杨谅在并州起兵勤王，口号是“杨素谋反，要诛杀他，以清君侧。”
杨谅起兵造反在实力方面绝对有与刚刚登基的二哥杨广一拼的可能。前文讲过，他不仅是并州总管，而且还总领北齐旧境五十二州军事，这意味着西起太行、东到渤海的广大地区在军事上全都听命于杨谅，想想这是多大的地盘啊。另外，杨谅图谋不轨已经很长时间了，准备相当充分，所以一起兵就立马调动三十万大军。而据历史记载杨广刚刚登基临时动员到的兵力才只有几万人。
跟杨谅起兵的人都希望他能带领他们走向荣华富贵，然而杨谅并不是一名优秀统帅。虽然早有预谋造反，但是直到起兵了他还没想清楚仗该怎么打。这时候，那个撺掇他起兵的王頍来给他出主意了。他说：
“王所部将吏家属，尽在关西，若用此等，即宜长驱深入，直据京都，所谓疾雷不及掩耳。若但欲割据旧齐之地，宜任东人”。
这王頍等于指出了两条路，让杨谅选。一条路是夺权，就是王頍所说的：“长驱深入，直据京都”。也就是一鼓作气打到长安城去，自己当皇帝。另一条路是割据旧齐之地，以对抗中央朝廷。
按当时的情况来说第一条路是最好的出路，因为杨谅造反就是要做皇帝嘛，要成功的话只有在二哥杨广没有反应过来的情况下直接灭掉他，否则时间一久作为正统的皇帝杨广可以调集全国的力量来围剿自己；更何况杨谅起兵的口号是“诛杀杨素、清君侧”，如果不直接打京城怎么能举起这忽悠人的“正义”大旗呢。
直接进攻京城吧自己心里没有多大的底，割据北齐旧地又与自己起兵的初衷不同，杨谅又犹豫了。
还好，眼看着王爷拿不定主意，大军不知道往哪里去合适。总管府兵曹裴文安给他出了个好主意。裴文安说：“井陉以西，是王掌握之内，山东士马，亦为我有，宜悉发之。分遣羸兵，屯守要路，仍令随方略地。率其精锐，直入蒲津。文安请为前锋，王以大军继后，风行电击，顿于霸上，咸阳以东可指麾而定。京师震扰，兵不暇集，上下相疑，群情离骇，我即陈兵号令，谁敢不从，旬日之间，事可定矣”。裴文安的意思就是杨谅的实力非常强，可以两方面兼顾的。一方面，可以安排一些老弱病残，非主力部队，在山东地区扼守要害，顺便也攻城略地；另一方面，把主要兵力用在向西突破上，即向京城方向挺进，而且裴文安愿意作为向西挺进的先锋。
裴文安的意见是非常务实的，虽然说兼顾了夺权和割据两头，但核心意思还是要夺权，而且还有具体可行的方案。杨谅一听，也很高兴，就这么办。于是杨谅就委任裴文安为柱国，让他率领大军，直奔蒲州去了。
杨谅在攻取蒲州城时使用了一招“移花接木”之计，使得他未废一兵一卒就拿到了关键的蒲州城。他挑选了几百个精锐骑兵，都蒙上幂篱，也就是当时贵族妇女出门戴的面纱，来到蒲州城下，谎称是杨谅的女眷，要回长安。当时杨谅造反的消息还没有传到这里，所以既然是王爷的女眷，守城的士兵也不敢随便检查，马上开门放行。结果，这几百个精壮骑兵一进城，马上露出本来面目，直接就奔蒲州刺史的衙门杀下去了。蒲州刺史丘和没有准备，干脆弃城逃跑了。
拿下蒲州，按照原定的计划，接下来不就要渡过蒲津关过黄河往长安去了，而一旦渡过黄河，杨谅至少的胜算最少多了两成。就在这关键时刻，作为统帅的杨谅突然改变了主力向西挺进的原计划，决定割据北齐旧地。就在裴文安等人距百余里到蒲津关时，杨谅派人传来命令，令纥单贵拆断向西突进的河桥，据守蒲州，同时将裴文安召回。回去的裴文安对杨谅说：“兵机在于神速诡秘，本来打算出其不意，大王却不