杨勇被废后，杨广就被立了。这杨勇被废有原因，而这杨广被立又有什么理由呢？
我们先来看看杨广的竞争对手，即杨坚的其他儿子杨广的兄弟们。因为孤独皇后的原因，没有其他女人为杨坚生过孩子；所以杨广和他的兄弟都是一母同胞的亲兄弟。这作为皇帝的杨坚也曾自豪的对群臣说：“前世皇王，溺于嬖幸，废立之所由生。朕傍无姬侍，五子同母，谓真兄弟也。岂若前代多诸内宠，孽子忿诤，为亡国之道邪！”
除了老大杨勇老二杨广之外，还有就是老三杨俊、老四杨秀、老五杨谅。
其中老三杨俊。开皇元年（581年）时立为秦王，二年（582年）春，拜上柱国、河南道行台尚书令、雒州刺史，时年十二岁。加右武卫大将军，领关东兵。三年，迁秦州总管，陇右诸州都归他管理。杨俊生性仁恕慈爱，崇敬佛道，曾经请求去做沙门，杨坚当然不准。六年（586年），升为山阳道行军元帅，督三十总管，水陆十余万，屯汉口，为长江上流节度；开皇九年（589）配合二哥杨广平定南陈。后来杨坚授他扬州总管四十四州诸军事，镇守南陈旧地。过了一年多后，因南陈旧地爆全面的叛乱杨坚就转任他为并州总管二十四州诸军事。
起初，杨俊颇有作为，因此让杨坚相当高兴，甚至下过旨奖励他。但之后他开始渐渐奢侈起来，还有违反制度的行为，放起高利贷，让他的辖区人民官吏大感痛苦。于是杨坚派使者去调查，结果因为杨俊的事获罪的官吏达百余人。即使如此，杨俊还是不改他的行为，继续建筑豪华的宫殿，穷极奢侈与华丽。每当他有特别的巧思时，就亲自拿起工具制作器具，并拿华丽的珠宝玉石去装饰。还为他的妃子制作七宝幕篱与水殿，香涂粉壁、玉砌金阶，梁柱之间又以明镜环绕、装饰宝珠，极尽华美之所能事。只要有宾客与妓女来的时候，杨俊便与他们在这里一同弦歌。
杨俊喜好美女拥有还多有姬妾，然而他的王妃崔氏善妒，为此愤愤不平，便在瓜中下毒，杨俊因此身体不适，回到京师长安。杨坚因为他生活太奢侈骄纵，便将他的官位都免去，让他纯粹做一个亲王，要他安份地待在他的王府里。左武卫将军刘升进谏说：“秦王非有他过，但费官物营噬岫已，臣谓容。”杨坚答曰：“法不违”。刘升本还想劝说，看到杨坚真的生气后才识趣的沉默了，之后杨素也觉得杨俊受到的惩罚有点太重就进言到：“秦王之过，不应至此，愿陛下详之”。对于这位朝廷重臣杨坚不像对刘升一样直接地拒绝而是解释道：“我是五儿之父，若如公意，何不别制天子儿律？以周公之为人，尚诛管、蔡，我诚不及周公远矣，安能亏法乎？”最后还是没有恢复杨俊的官职。
后来杨俊的健康状况越来越差，已经不能起床，便请使者上表陈述。杨坚对他的使者说：“我戮力关塞，创兹大业，作训垂范，庶臣下守之而不失。汝为吾子，而欲败之，不知何以责汝”！杨坚的话弄得杨俊惭愧的同时感到恐惧使得病情更加的严重。后来大都督皇甫统上表，请求恢复杨俊的官职，但仍没有得到同意。一年多以后，杨俊病危，杨坚这才恢复他上柱国之位。
开皇二十年六月二十日，杨俊薨于仁寿宫。杨坚废朝而悼伤，独孤皇后辍膳而摧痛。杨俊所有华丽奢侈的遗物，杨坚下令全部烧掉，并命令送终的用具都一定要俭约，才能让后世效法。王府的幕僚请求立碑纪念，杨坚说：“如果想要留名，记在一卷史书上也就够了，哪还需要用到石碑？如果子孙不能保存家业，以后石碑也不过是给人拿来做镇石而已。”
杨俊一生因杨坚安排有才之人的教导，在才能方面也以说是能文能武，功业方面也算是有一定成就的。只是在后来像大哥杨勇一样犯了“公子病”，最后落得个被女人下毒弄死的下场。杨俊是杨坚最早死的儿子，而且他在很早的时候就不被杨坚重用，所以他根本不是杨广的对手。
老四杨秀。史书记载杨秀容貌奇特雄伟，有胆量有气魄，喜欢武艺，比较有个性。开皇元年（581），被立为越王，不久，徙封蜀王，任柱国、益州史、益州总管，都督二十四州诸军事。开皇二年（582）年，进位上柱国、西南道行台尚书令。592年，任内史令、右领军大将军。不久之后再度出镇蜀地，杨坚对于这个儿子也是派遣有才之人来教育辅佐他。杨秀出镇蜀地时日之久比二哥杨广镇守江南长，谓是权倾一方。对于这个很有个性且并不太听话的儿子，杨坚也曾表示过担心，他对孤独皇后说：“秀必以恶终，我在当无虑，至兄弟必反。”
西南边境出现战事，大将军刘哙之奉命征讨。同时杨坚令上开府杨武通领兵跟进，作为后续部队。杨秀派嬖人万智光为武通行军司马，杨坚认为杨秀任非其人，谴责之。对此杨坚谓群臣曰：“坏我法者，必在子孙乎？譬如猛兽，物不能害，反为毛间虫所损食耳”。于是遂渐分化杨秀的权力。
开皇十三年，益州的总管长史元岩在任上死了。杨秀曾经想用蛮人作太监，又想将活着的死刑犯剖腹，取出死囚的苦胆作药。每次元岩都不听从命令，径直到蜀王宫中极力进谏，杨秀每次在认错之后，不再作这样的事，他畏惧元岩的为人，做事时每每遵循法度。元岩死后没有人压制的杨秀日渐奢靡骄纵，造浑天仪，多捕山