因为有了猜忌，杨坚就特别的注意杨勇的东宫生活。而后有一年的冬至，朝廷内外大臣都到东宫拜见作为太子的杨勇，而杨勇也是高兴的摆开礼乐很自然地接受。这事被父亲杨坚知道后，杨坚非常的不高兴。特意召来朝臣问：“近闻至节，内外百官相率朝拜东宫，是何礼也”？太常少卿辛亶奏道：“于东宫是贺，不得言朝”。杨坚还是不满的说道：“改节称贺，素日亲厚者三数十人酌情而往可也。何以有司征召，群臣迤逦而至，一时普集，太子法服设乐以待之？东宫如此行止，大违礼制。接着杨坚下诏“礼有等差，君臣不杂，爰自近代，圣教渐亏，俯仰逐情，因循成俗。皇太子虽居上嗣，义兼臣子，而诸方岳牧，正冬朝贺，任土作贡，别上东宫，事非典则，宜悉停断。
从这之后的杨坚开始对杨勇的太子地位和权力有了重新的认识并作出调整。接着杨坚下令选宗卫侍官的时候，借机把杨勇的侍卫年轻有力的都调走，为此全力支持太子的大隋第一宰相高颖对杨坚说：“若尽把强壮的卫士挑选走了，恐怕东宫的侍卫力量太差，太子有可能被不法分子威胁到安全”。杨坚听了之后很不高兴，对他说：“我时常东跑西跑的，故需要有较强的卫士。太子呆在东宫，身边何必要有那么多壮士。重兵保卫东宫这个办法流弊极大。依我看，东宫的保卫由皇宫卫队兼管着就行了。我熟悉前朝的旧法，你不要走过去的老路”。高颖看到杨坚的坚决也就不再说什么了。
开皇十一年（591年）一月，杨勇的太子妃元氏突然病故。对此杨勇的母亲孤独皇后怀疑元氏不是自然死亡，而杨坚更是认为是杨勇派手下的人下毒弄死元氏的，对此杨坚把杨勇狠狠的骂了一顿。杨勇的太子妃元氏出身北魏皇族，颇得独孤皇后喜爱。可能是因为这场婚姻就像杨广的婚姻一样政治联姻成分很大，而杨勇也没有弟弟那么幸运碰到合得来的，所以杨勇在娶了元之后对元氏没有什么感觉，甚至还有很排斥。在东宫的时候杨勇就喜欢上一个叫云昭训的，元氏死后杨勇立马把东宫的后院大权交给了云昭训，并私下说自己和云昭训生的儿子将来也会继承自己的事业。这云昭训出生伶人，对于极其看重门第的杨坚夫妇来说简直无法容忍的。想到自己的万世基业将来会交给这一个低贱人生的儿子手里，杨坚就感到一阵恶心。于是杨坚把在京城四处招摇的云昭训父亲赶出长安，但是杨勇一点都不在意父亲的做法，照样按照自己的性子在东宫过着优哉游哉的生活。
根据历史的记载，杨坚此时似乎对杨勇的行为与态度有点忍无可忍了，认为“此儿不堪承嗣久矣”。这时的杨坚便产生了废掉杨勇的打算，故而开始派人调查杨勇的劣迹，同时找一些大臣放出自己想废掉杨勇的口风。例如在一次召见韦鼎时就很自然的问道：“诸儿谁得嗣？”这时杨勇还是太子，是他法理和确实的继承人，但杨坚还是装着糊涂问一个很“白痴”的问题。韦鼎也是一个聪明人，对于这个棘手的问题答曰：“至尊、皇后所最爱者，即当与之，非臣敢预知也”。
后来由于孤独皇后的不喜欢杨勇的生活不检点，对杨坚吹枕边风，使得杨坚下定决心废掉杨勇。当然对于一切的外在因素个人觉的杨坚废掉杨勇的最基本原因是杨勇的太子地位威胁到了杨坚皇权的长期性。为废掉杨勇杨坚分别对支持杨勇的**势力进行了分化与清洗。
**的势力其主要是山东士族和关陇贵族子弟，他们在大隋帝国有着左右帝国命脉的影响。这也就是为什么太子杨勇的影响力能够威胁杨坚皇权的独一性和长期性。
对此杨坚在开皇十二年的时候借故发动了针对**的卢恺党朋案。
党朋案的起因是国子学博士何妥与尚书右仆射苏威议论政事时，素来意见不同，各不相让。苏威的儿子苏夔担任太子通事舍人，他从小就机敏善辩，享有盛名，士大夫都樊附巴结他。及至讨论修订音乐时，苏夔和何妥各有自己的主张。于是杨坚下诏令百官群臣各自发表意见，百官大臣由于苏威的缘故，十分之八九都表示赞成苏夔的主张。何妥愤愤不平地说：“我当国子博士都四十多年了，现在反倒屈居于一个乳臭未干的小儿之下！”于是向杨坚上奏说：“苏威和礼部尚书卢恺、吏部侍朗薛道衡、尚书右丞王弘、吏部考功侍郎李同和等人结党营私。”后又告发苏威以不正当手段为堂弟苏彻、苏肃谋求官职等几项罪行。于是杨坚命令蜀王杨秀、上柱国虞庆则等人负责调查此事，基本属实。查明后杨坚非常愤怒，七月初一，苏威因此被免除官职爵位，只保留开府仪同三司，回家闲居；卢恺被免官除名，受牵连而获罪的知名人士多达一百余人。
起因是当朝的臣子在政见方面的不同而引起的一次纠纷，本来可以很平淡的处理这种平常事情，但是杨坚却把“小事件”扩大化从而有一百多名的士人因为这件事情获罪。杨坚把这件事情扩大化的原因是有两个的，一是“周室以来，选无清浊，及恺摄吏部，与薛道衡甄别士流”，而所谓的甄别士流就是自孝文帝改革以来所遵循的以门阀取人原则，这对于门阀士族实力雄厚的山东人入仕是非常有利的。而这次的党朋案的主要人物卢恺、薛道衡、苏威、陆彦师，除了薛道衡以外都是山东人，他们执掌吏部统辖选举职权，而所选之人