大业十三年，天下形势大变。
李密接收瓦岗军，攻陷了隋朝的大粮仓洛口仓，他开仓放粮，赈济灾民，一时间拥兵百余万。势力之大，大有吞并中原之势。
窦建德也攻城略地，接连消灭隋朝的主力军队，占据了整个河北地区。
杜伏威则在江淮作战，大败隋朝军队。
农民起义军在反抗隋军的征战中，渐渐取得了优势。隋帝国的军队逐渐被义军消耗殆尽，天下渐成四方割据之势。
六月，杨广诏命驻守关中的庞玉和霍世举率领关内府兵驰援东都洛阳留守王世充，共同讨伐李密。
关中城防空虚！
李渊巨眼识天下，当他得知这一情报，感到南下关中的时机已经完全成熟。
很快，李渊命李世民率五百亲兵伏于兴国寺，并在自己的议事大厅中设计好骗局，一举除去了监视他的王威与高君雅，从而取得了晋阳城的绝对控制权。
不久，远在河东城的李渊长子李建成得到父亲的密信，率领全家上下全部宗族来到晋阳城与父亲会合。至此，李渊免去了后顾之忧。
紧接着，李渊接受刘文静的建议，与此时兵甲强锐的漠北霸主始毕可汗互相结盟。
他派刘文静出使漠北，与始毕可汗相约——“唐公得天下，土地人口归唐公，财帛归突厥。”始毕可汗大喜，答应鼎力辅助李渊的起兵大计。
六月十四日，李渊组建大将军府，自为大将军，任命裴寂为长史，刘文静为司马，唐俭和前长安尉温大雅为记室，温大雅仍和他弟弟温大有共同掌管机密，任命武士彟为铠曹参军，刘政会和武城人崔善为、太原人张道源为户曹参军，晋阳长上邽人姜謩为司功参军，太谷长殷开山为府掾，刘政会为府属，以及权弘寿、卢阶、田德平参佐等官。
李渊将招募来的兵马分为左右三军，世子李建成封陇西公、左领大都督，统领左三军；次子李世民为炖煌公、右领大都督，统领右三军；李元吉为姑臧公，领中军。长孙顺德、鹰扬郎将王长谐、姜宝谊、刘弘基、窦琮、李高迁、杨毛、阳屯、魏进等人分别为左右统军、副统军。柴绍为右领军府长史。
十八日，突厥始毕可汗派其柱国康鞘利、级失、热寒、特勤、达官等，送马千匹来晋阳城进行互市，并答应借兵给李渊。李渊派刘文静随康鞘利回突厥汗帐，联络借兵事宜。
七月，李渊领军三万于军门举行誓师大会，留元吉守晋阳城，大军浩浩荡荡沿着汾水南下进军关中。
此时，瓦岗军渐渐于中原坐大，但同时也招致隋军的疯狂反扑。天下虽然纷乱，可隋朝拥有天下的名号还在，隋军主力还有相当的战斗力，各路割据政权中也是彼此牵制且相互观望，并未出现任何一方代隋而坐拥天下之势。
值此风云变幻之际，李渊经过深思熟虑，采纳了刘文静的计策。义军打起了“安隋室”的旗号，一来避免树敌过多，二来最大限度的保存自身实力。
大军所过之处，遍撒檄文——“今天下流寇四起，社稷有倾覆之忧！朝政日败，百姓有亡命之危！兹尔唐公，不忍黎民倒悬，欲匡扶社稷，斧正纲纪。天下纷乱，皆因佞臣当道，政令偏私所致。义军南下，即为拯民于水火，还天下太平……”
沿途百姓听闻李渊兴起义兵，纷纷报名参军。加之李渊素来德望甚高，各路义军也纷纷前来投奔。
大军虽然在河东城受到隋朝名将屈突通的阻截，久攻不下。但李渊很快调整了思路，听从了汾阳人薛大鼎的建议，向西渡过黄河，自渭北原南下长安。
关中的义军听闻唐公李渊来到，纷纷归附。李渊的女儿平阳公主和其丈夫柴绍也聚拢了数万人马，前来汇合。
只用了两三个月的时间，李渊的队伍迅速壮大到了二十余万人马。
是年十一月，李渊攻克长安城。他拥立时年十三岁的代王杨侑为皇帝，遥尊远在江都的杨广为太上皇。
李渊自称丞相，进封唐王，假黄钺，使持节，都督内外诸军事，将所有的军政大权集于一身。
跟随李渊起兵的班底成员，全部有所封赏，他们实际上已经完全掌控了长安的小朝廷。
所有人都听命于李渊，皇帝不过是个傀儡而已。
李渊主政之后，立即着手实施了一系列影响深远的政策。其一，宣布“与民约法十二条，尽除隋朝苛政”，争取了民心；其二，大举招贤纳士，最大限度延揽人才，为我所用；其三，奖励军功，沿用并改革府兵制，扩充兵员，以适应战时政权的需要；其四，任用原隋朝勋贵，大肆封爵，笼络豪强，避免不必要的战争。
经过一段时间的经营，李渊在长安城立稳了脚跟。