仁寿二年（602）8月，独孤皇后病逝于永安宫。作为杨坚爱侣、亲人、唯一知己和精神支柱的孤独皇后的去世标志着杨坚大展雄图时代的结束，杨坚失去爱侣和精神支柱，悲痛不已。据史记载对于孤独皇后的病逝杨坚始终“不能忘怀”，企盼“魂其有知，地下相会”。杨坚甚至下诏让当朝的第一宰相杨素放下政务为皇后寻觅陵寝之地，随后他亲临出殡，把妻子送到了安息之地。杨坚为孤独皇后做佛事时情不自禁的泪流满面，把为爱妻祈祷阴福的禅定寺修成天下规模最大的寺院，“宛如天苑举国莫有”，甚至不忍去仁寿宫触景伤情。
孤独伽罗的去世对杨坚的打击是沉重的,失去皇后的悲苦导致杨坚的生活陷入了突然空白的状态，这期间他有了两个宠妃陈氏和蔡氏，甚至因为纵欲而损害了自己的身体。于是杨坚也没有摆脱“人间不许见白头”的自然规律的残酷阴影，他试图在美丽女人们青春的气息中找到人生存在的一点现实欢，然而她们终究不是孤独皇后，也填补不了孤独皇后留下的巨大精神空白，对美色的沉迷也无法排遣心中的茫然与失落，宣泄不了无尽的空虚和寂寥。其实他去世前说“使皇后在，吾不及此”，与其说是在后悔没有听从皇后的管制约束保管好自己身体，不如说这是他深切的痛苦：如果心爱的妻子还活着，他根本不会空虚寂寞得去放纵自己。
杨坚被孤独伽罗“管制”了一辈子，临死前还是觉得有妻如此很幸福满足：“上疾笃，谓（何）稠曰：‘汝既曾葬皇后，今我方死，宜好安置。属此何益，但不能忘怀耳。魂其有知，当相见于地下。”这或许就是彼此相爱的人习惯了彼此的存在吧。
仁寿四年（604）正月，孤独皇后死后一直没有再去仁寿宫的杨坚下诏留太子杨广长安城监国，自己再一次到仁寿宫休假。这仁寿宫是杨坚在开皇十三年（593）下令在歧州以北建设的一处避暑行宫，当时任命杨素为总监，宇文恺为检校将作大匠，封德彝为土木监。由于工程繁复，致使民怨沸腾。开皇十五年（595年）三月，仁寿宫竣工后不久，杨坚夫妇就来此避暑，杨坚曾因其规模宏大，壮丽辉煌而怒并差点降罪与杨素，后由于独孤皇后喜欢此宫而转变。杨坚其实也很喜欢这处行宫，取名“仁寿”取意有仁德而长寿，语出《论语.雍也》:“知者动，仁者静，知者，仁者寿”。从开皇十五年开始杨坚有很大部分时间都在这里度过，在仁寿二年孤独皇后病逝后为免触景伤情的杨坚有一年多的时间没有再去。
这次杨坚去了也就再没有回到长安城了，而杨坚去的时候，有他回不来的征兆。据说术士章仇太翼劝谏杨坚不要去，但是杨坚不听，于是章仇太翼再三奏道：“臣愚岂敢饰词，但恐是行銮架不返”。一生迷信的杨坚不知道为什么没信并大怒，反将其拿下长安狱，言明期还而斩。
在仁寿宫，已经六十多岁的杨坚触景伤情再一次放纵自己，没有节制的纵欲生活使得杨坚在四月份竟染病不起。这时的杨坚似乎想起了临行时术士章仇太翼的话，于是把太子杨广和文武大臣都从长安城召到仁寿宫来。六月杨坚再一次下诏大赦天下，七月杨坚的病情更为严重到了不治的地步了。七月十三日杨坚在仁寿宫大宝殿驾崩，有遗命让太子杨广放了术士章仇太翼。
然而杨坚的死因在不同历史记载中有着不同的描述，以致有了一桩千古奇案——“仁寿宫变”。这仁寿宫变一案的关键在于杨坚是不是被当时的太子杨广所杀，在千百年来人人几乎都更愿意相信杨广是弑君即位的。历史的真相无法知晓，但是从那模糊的历史笔记里还是能够找到真相的影子。
在《隋书·高祖本纪》记载，“甲辰，上以疾甚，卧于仁寿宫，与百僚辞诀，并握手歔欷。丁未，崩于大宝殿，时年六十四。”按照这段文字记录，杨坚是自然死亡，杨广正常继位。按理来说，本纪是史书最重要的组成部分，如果真有政变弑君，怎么能完全忽略呢？而且一直在为杨广泼脏水的李世民史官会放过这个污蔑杨广的机会吗？
然而在《隋书》的其他传记里，却有着各种扑朔迷离的记载。
《隋书后妃传》：初，上寝疾于仁寿宫也，夫人与皇太子同侍疾。平旦出更衣，为太子所逼，夫人拒之得免，归于上所。上怪其神色有异，问其故。夫人泫然曰：“太子无礼”。上恚曰：“畜生何足付大事，独狐诚误我！”意谓献皇后也。因呼兵部尚书柳述、黄门侍郎元岩曰：“召我兒”！述等将呼太子，上曰：“勇也为敕书讫，示左仆射杨素。素以其事白太子，太子遣张衡入寝殿，遂令夫人及**同侍疾者，并出就别室。俄闻上崩，而未丧也。夫人与诸**相顾曰：“事变矣”！
这段记载大概意思是，杨坚病重期间，宣华夫人和杨广一同侍疾，杨广趁机强暴了宣华夫人，杨坚现宣华夫人有异状，询问之下才得知杨广强暴了自己的小妾，气愤之余，命元岩柳述去召唤被废了的太子杨勇，然后元岩柳述去找杨素商量，杨素汇报给了杨广，杨广命令张衡控制住了皇帝寝宫，然后杨坚就神秘的驾崩了。
《隋书杨素传》：及上不豫，素与兵部尚书柳述、黄门侍郎元岩等入閤侍疾。时皇太子入居大宝殿，虑上有不讳，须豫防拟，乃手自为书，封出问素。素录出事状以报太子。宫人误送上