开皇六年（586年），杨坚在北方突厥威胁的消除后，即全力做灭陈统一天下的准备。其实早在杨坚登基做皇帝的当年三月，就任命贺若弼为吴州总管，镇守广陵（扬州）；任命韩擒虎为庐州总管，镇守庐江（合肥）；让他们在那里避开陈国的耳目的做一些灭陈的准备。在当年的九月份杨坚还把想乘乱讨便宜的陈宣帝给打的郁闷的要死，那时的杨坚本也想乘机灭掉陈国统一南方，但是前文我提到隋初的时候突厥进犯让杨坚已经有点措手不及了，所以杨坚只好放弃自己先南后北的最初打算，把准备攻陈的兵力与财力都用来防备突厥、消灭突厥了，因此这个到了陈后主手里已经摇摇欲坠的南朝最后一个政权陈在美丽的南方依然在延续它的存在。
在历史的车轮留下的痕迹里，不难发现我们伟大的中华民族在记载的那几千年的历史中，政治上的南北分裂在不同的时期都存在过，南北对峙的时间也有长有短，但总会在某一个时刻的战争中得到统一。如果去细细的看我们的南北分裂与统一的历史，会发现在南北两个政权对峙后一般都是北方统一南方。像隋前的晋灭三国，以及后来的北宋灭南唐、蒙古灭南宋、明初时的燕藩灭掉南京的中央朝廷、清灭南明，甚至后来的中国共产党政权灭掉国民党政权都是历史上不同时期南北出现不同政权后的一种最后对峙结果。对于为什么一般都是北方统一南方，我个人认为除后来的国共内战以外，在冷兵器时代的北方人的彪悍上有很大的优势，而这在冷兵器时代是取得战争胜利的绝对保证。虽然在南边的朱元璋政权也曾灭掉过北方的大元政权以及后来的蒋介石的北伐取得过胜利，但是这都是一个新兴的政权灭掉一个已经摇摇欲坠或者是一个已经过时了的政权。所以说似乎南方的政权都有一种被北方政权消灭统一的宿命。而在公元六世纪的中国大地的南北两个政权隋陈也没有逃出这种历史安排的宿命。
虽然在开皇六年（586年）之后隋在北边的战事已经基本上结束了，但是杨坚却也没有马上对南陈动手，而是开始全面的做战前准备，力求一战定南方天下。对于灭陈统一天下，先后有尚书左仆射高颎、虢州刺史崔仲方等献灭陈之策，杨坚采纳并实施了一些建议，即在江南收获季节时，调兵佯攻，误其农时，并不断迷惑麻痹陈军；在长江上游速造战船，准备水战；派人潜入陈境，破坏其储备物资；待陈疲惫懈怠时，突然渡江，东西呼应，一举击破。
同时动员数十万人修缮朔方、灵武(宁夏灵武)一带长城，并于朔方以东缘边险要，筑城数十，以加强北部边防，保障南进时后方无忧。杨坚耐心地推动着统一大业的步伐。
因攻陈的需要，在开皇七年（587年）八月，杨坚下诏把夹在隋陈之间的后梁皇帝萧琮召到长安来，并把他软禁在长安。这萧琮就是杨广的大舅子，前文提到的后梁皇帝萧岿的儿子。萧琮颇有乃祖、父遗风，博学有文采，且弓马娴熟，百发百中，可谓文武双全。在开皇五年(585年)四月的时候因为在位的父亲萧岿病逝而继承了后梁的帝位，这萧琮即位的时候刚好赶上宗主国的杨坚正在手忙脚乱地面对北方的突厥，对南方的陈和后梁都温柔的像是兄弟一样，这时在叔父、太傅、安平王萧岩一些后梁“独立派”的劝导下，萧琮年轻人的热血一下子给燃烧了起来。于是本应该在登基后要去宗主国的长安朝拜大皇帝杨坚的政治大事在他看来不是什么大事了，最后也就懒得去了。更严重的是这萧琮在登基的没几天后就单方面派大将戚昕攻打南陈的公安，结果大败。这下就把这宗主国皇帝杨坚给气的火大，作为对后梁的惩戒，杨坚随即下诏把后梁的太尉、萧琮的叔父吴王萧岑叫到长安来臭骂了一顿，随后扣留不放。同时下诏恢复于开皇二年（582年）因儿子杨广娶了萧琮妹妹而取消的江陵总管府，以加强对后梁的监督。
到了开皇七年（587）时，杨坚的南征大业在即，后梁已经没有了存在的必要了。所以一张诏书就把萧琮召到长安来，这时的萧琮也知道自己前去长安肯定是有去无回的，但在实力的面前他没有办法只好硬着头皮让叔父、太傅、安平王萧岩留守江陵，自己率领公卿百官去长安。到了长安后杨坚就把萧琮留在了长安，并以后梁皇帝不再国内为由派遣大将崔弘度率军前往江陵戍守，打算就此灭了萧梁。大隋的军队这次是在开皇二年（582）取消江陵总管府后的再一次大规模的进入后梁，引起了后梁上下的大范围的恐慌，曾主张对隋独立的后梁留守萧岩派都官尚书沈君公出使南陈会见南陈荆州刺史、宜黄侯陈慧纪，请求归附。开皇七年(587)九月二十三日，陈慧纪带兵抵达了江陵城下，因为隋将崔弘度带的大军逼近江陵了，于是第二天萧岩带着十几万后梁军民逃入南陈，随后称帝。这下杨坚终于等到了灭后梁的借口，随即杨坚下诏黜萧琮皇帝位，拜他为柱国，封莒国公，后梁宣告灭亡。
同时，杨坚派出自己的得力助手、大隋的宰相尚书左仆射高颎前往江陵安抚百姓和经营这一攻陈战略要地。再就是下诏书陈列南陈后主陈叔宝的罪恶，诏书曰：
“陈书宝据手掌之地，恣溪壑之欲……驱逼内外，劳役弗已；穷奢极欲，俾昼作，灭无罪之家；欺天造恶，祭鬼求恩；盛粉黛而执干戈，曳罗绮而呼