杨广深知大势已去，不过他还不想死。他决定南逃。毕竟他即位前曾经在江南经营了十年，别处烽火四起，这里还算安静。做不了千古一帝，那么就干脆在秀丽的江南风光中了此一生吧！在国家一片混乱、大势岌岌可危之时，他却调集十郡数万兵力，在江苏常州一带为他建造宫苑，周围十二里，内为十六离宫，虽然比洛阳宫苑规模要小，但“奇丽过之”。
到过江南之后，杨广一头钻进离宫之内，万事不管，整天饮酒为乐。他把他的过人的聪明用来发明各种新奇的玩法上，其中最有名的一种玩法是广派宫人四处去抓萤火虫，得到数斛之多，装于布袋之中，夜里外出游玩时一齐放出，“光遍岩谷”，十分瑰丽。他命官员大量为他进奉民间美女，分为百房，每天由一房做主人，饮酒赋诗，以为笑乐。在天下水深火热之际，别人都是强颜欢笑，只有皇帝似乎真的乐在其中，诗酒会中，他做了数组颇为清新雅致的小词，其中最有名的一首如下：
求归不得去，真成遭个春。鸟声争劝酒，梅花笑杀人。（《隋书?五行志》）
在生命最后阶段的杨广内心其实是十分矛盾的。一方面，这个残缺的、不完美的、与自己的期望已经大相径庭的生命让他不再珍视；另一方面，他体内的**却依然强盛，他的感觉依然敏锐，他对生活中每一点滴的甜美都依依不舍。那个励精图治者变成了及时享乐主义者，他把自己剩下的生命目标定位为体验快乐。他经常“于苑中林亭间盛陈酒馔，敕燕王倓与钜、皛及高祖嫔御为一席，僧、尼、道士、女官为一席，帝与诸宠姬为一席，略相连接，罢朝即从之宴饮，更相劝侑，酒酣殽乱，靡所不至，以是为常。杨氏妇女之美者，往往进御。皛出入宫掖，不限门禁，至于妃嫔、公主皆有丑声，帝亦不之罪也”。（《资治通鉴》卷一百八十一）
不饮酒时，他常穿起短衣短裤，策杖步游，遍历台馆，细斟细酌每一处景致，直到天尽黑才止，“汲汲顾景，惟恐不足”。他知道，命运留给他体验这个世界的时间已经不多了。
最近有个片子“隋唐演义”，里面演杨广的是富大龙，演的怎么样不好说，有的人说演的好——把演义里面的杨广荒淫、嗜杀的本色，有的说演的差，跟土匪似的。事实上，正史里面的杨广根本就不是演义的形象，单说荒淫**，根本跟杨广不沾边，杨广是喜欢讲排场、好大喜功，大修宫室，按照礼制广选秀女入宫，但他本人却不是一个**之人，短短的十余年皇帝生涯，大半时间都是在巡视天下中度过，他所选的秀女大多成了摆设，宫妃张婕妤就是摆设之一。事实上，李渊却是个极**之人，在做臣子之时。他需要自己妻娘家窦家为后台，不敢过于放纵自己，所以让人看上去一副老实人的样子。但李渊做了皇帝后，便本性毕露，肆无忌惮地临幸原先隋朝的宫妃，其中又以张婕妤和尹德妃二人最受宠，她二人的父兄也因此飞黄腾达。结果到了隋唐演义和一些唐朝人写的书里面，变成了张婕妤和尹德妃二人主动**老实人李渊了，而且还说张婕妤和尹德妃和太子李建成有男女关系上的一腿。