高颖做了近二十年的宰相，与杨坚的矛盾与曾出现过，例如杨坚在开皇十八年的时候杨坚要攻打高丽，而高颖坚决不同意，但杨坚坚持要打，并派高颖为事实上的主帅，高颖只好服从。结果因为疾疫流行，军队十之八九病死，无功而返。这件事本来是没有什么好挑剔的，可是孤独皇后却节外生枝，在杨坚面前中伤高颖，说什么“高颖根本就不愿意去，你强迫他去了，我就知道准是无功而还”。她的意思是说，高颖阳奉阴违，消极抗命。这孤独皇后本与高颖关系蛮好的，只是那次统军名义上大的主帅汉王杨谅受了高颖的气向她告状，所以她才为儿子出气中伤高颖。原来在那次远征中高颖掌握实际指挥权，而高颖为人，比较耿直，自觉责任重大，常常以大局为重，不避嫌疑。对于主帅杨谅的意见，也多不采纳。所以杨谅恨透了他，返京后在母亲孤独皇后面前告他的状说：“儿万幸没有被高颖杀掉。”对于这些事情，杨坚就对高颖就有点愤愤不平，但是依然很是信任他。
高颖与杨坚几十年的革命感情，杨坚是不会仅仅因为一两次的政见不同或者其他人的中伤而罢免高颖的，杨坚对于高颖还是有着信任与重用，后来高颖还领兵出征过突厥呢。杨坚罢免高颖是因为高颖不支持自己废太子，这是谁都不能反对的，所以高颖被罢免了。
杨坚知道高颖施支持太子的，所以曾经以一种商量的口吻问高颖：“有神凭告晋王妃，言晋王必有天下，若之何”？高颖立即奏道“长幼有序，岂可废乎？”表明自己是坚决不支持废掉杨勇。高颖身为大隋最有权势的当朝大臣，朝野威望极高，又作为太子在朝野的中坚力量，杨坚要废太子只有把这个跟了自己几十年的高颖罢免。
开皇十九（599年）年，当有人告高颖泄露宫廷秘闻时，杨坚不再像以前有人告高颖谋反是一样杀了告密者，而是果断下令追究高颖的罪行。对此上柱国贺若弼、兵部尚书柳述等一大帮朝廷重臣都上书申明高颖是被诬告的，杨坚存心要整高颖，所以就把这些为他求情的人交给执法人员问罪希望表明自己的决心。但是还是有不识趣的刑部尚书薛胄想依据刑律条文为高颖“明雪”辩解，杨坚为震慑朝臣，就让人给薛胄带上刑具，这样一来就没有人给高颖申辩求情了。八月杨坚正式下诏罢免高颖的尚书左仆射职务，让他带着一个齐国公的爵位回老家养老去，这意味着杨勇的**在朝野的彻底失势。
高颖罢免后，虽然对于太子将被废一事已经谣言四起，但杨坚没有立即废掉杨勇，而是在等高颖被免一事在朝堂引起的震动冷却，因为朝廷的稳定才是头等大事。直到开皇二十年(600)九月杨坚接到东宫官姬威关于太子杨勇的报告书时，杨坚才感到紧张，认为太子杨勇会狗急跳墙动手政变夺权。杨勇做了近二十年的开国太子可谓是根深蒂固、树大叶茂，所以即使杨勇来自朝臣的最大支持高颖被罢免，其他势力也都被杨坚打压分化，但是如果杨勇发起狠来能量还是很大的。这也是杨坚想废掉杨勇后不能立即废掉，而是一步一步地消弱杨勇的势力，使得废太子一事水到渠成，这样废掉杨勇就不会引起朝野震动，甚至政变内乱。
为防止杨勇的狗急跳墙，杨坚接到姬威大报告书后立即从避暑的地方仁寿宫回到长安城。回去的时候，杨坚的车驾严加戒备，如临大敌，警卫重重。当他晚上睡觉的时候杨坚甚至担心出现兵变，竟然从后殿搬到前殿居住以望能及时掌握局势。第二天早朝时，杨坚原以为朝臣都知道自己想废太子的意思了，随即问道：“我新还京师，本应开怀欢乐，为何如此忧郁愁闷呢?”这就是希望朝臣能够呈报太子杨勇的过错，不知道吏部尚书牛弘是真的不懂还是装着不懂忙称“臣等不称职，使陛下忧愁劳累”。杨坚一看臣子居然不识，当时就板起个脸，直接喝令将多个官属太子左庶子唐令则等人逮捕交给有司问罪，最后直接叫杨素来陈述太子的过错。
于是杨素就公开地说:“我奉旨到京师，命令皇太子查核刘居士的余党。太子接到诏书，脸色大变，表情非常愤怒，他对我说：‘刘居士的余党都已伏法，让我到哪里去追究呢？你作为右仆射，责任不轻，你自己去查核此事吧，关我什么事！’又说‘过去的禅让大事要是不顺利，我先得被杀，如今父亲作了天子，居然让我还不如几个弟弟，凡事都不能自作主张！’他就长叹说：‘我觉得太不自由了’”。
最后杨坚对朝会做了总结性的表示：“这个儿子我很早就觉得不能够继承皇位了，皇后老劝我废黜他，我认为他是我作平民时生的，又是长子，希望他能够逐渐改正错误，我已克制忍耐到现在了。杨勇曾经指着皇后的侍女对人说：‘都是我的’。这话说的是多么地奇怪。他的妻子元妃刚死时，我很怀疑她是被毒死的，曾经责问过杨勇，他就怨恨地说：‘应当杀掉元孝矩（太子妃的父亲）。’这是想要害我而迁怒他人。长宁王刚出生时，我和皇后一起抱来抚养他，杨勇却心中另有想法，连连派人索要。况且云定兴的女儿，是云定兴在外面私合而生，想到她的出身来历，又何能说必定是他的子女呢？以前晋太子娶了屠户的女儿，他的儿子就喜欢屠宰之事。如今他们不是咱们这一类人，会乱了宗祠。我虽然德行不及尧舜，但终归不能把天下百