后来裴矩向杨广上奏认为始毕汗羽毛己丰，部众渐盛，不太听话，便建策分其势，请杨广以宗女嫁给始毕之弟叱吉设，拜为南面汗，以事离间。杨广以为主意不错，但在实施中却未能如愿，因为叱吉设不敢接受隋公主，而始毕汗闻知后也对杨广产生了怨恨。一计不成，又生一计，裴矩又向杨广献策说:“突厥本淳厚，易行离间，但由于其帐内多有西域九姓胡，尽皆莱黯狡猾，”为始毕出主意，并教唆之。据说有个叫史蜀胡悉的人尤多奸计，受到始毕的宠信，用计先诱杀他。杨广听后即予准许。裴矩于是派人向史蜀胡悉传言:“天子大出珍物，今在马邑交关贸易，若前来者，即得好物。”胡商出身的史蜀胡悉闻知后认为是财的好机会，不经过始毕汗同意即尽驱六畜前来互市，结果在马邑关下被伏兵斩杀。裴矩以大隋皇帝的名义诏报始毕汗:“史蜀胡悉忽然自领部落入塞来此，云背叛汗，请我容纳，突厥既是我臣，彼有背叛，我当共杀，今己斩之。”但始毕汗并不是傻瓜，更不会轻易上当，了解真相后对大隋对杨广更加怨恨。
大业十一年的元旦朝会东突厥始毕汗虽派出了朝贡使，并在朝班中排名第一，但杨广三次征讨高句丽，始毕却没有派出一兵一卒来助战，没有履行大业四年(608年)杨广与他父亲启民约定的共同出兵之议。不同的是，始毕汗的死敌西突厥处罗汗，则是三次都随杨广出征，并出动了兵马，如特勤阿史那大奈就随杨广伐辽。虽然出兵的多少并不能影响大隋与高句丽大局，但是这是一个态度的问题。西突厥处罗汗出兵，而东突厥的始毕汗不出兵，显然预示着隋与东突厥的关系己生变化。启民时期双方的亲密关系己经变得疏远了，也说明始毕汗不愿意像他父汗一样成为大隋的傀儡。
在天下狼烟四起的情况下，北方边境的安宁尤为重要。所以杨广在始毕汗公然出兵入境掠夺的情况下，冒险再一次北巡。一如往常的出巡，杨广这场的冒险也被后人认为吃饱了没事私心作祟，认为是他在三征高句丽失败，“圣人汗”威风扫地之时，试图重演大业三年(607年)北巡启民汗营帐的故事，以求挽回一点面子，他才不辞劳苦执意出塞的。
杨广的车驾驾往边关。楼烦郡太守阴世师听说始毕汗将不利于隋，曾劝杨广御驾回太原，但他没有听，因为他觉得始毕虽然有点不听话了，但是还不至于敢对圣人汗的他下手，他的车驾便一直往突厥境内方向去。但在八月初八下嫁突厥汗的隋义成公主先派使者紧急通报始毕率数十万骑“谋袭乘舆”的消息时。杨广才相信始毕汗不仅不象当年其父启民那样殷勤，只带少数人来迎驾，并亲手铲草开御道；而且始毕此来，是带了几十万骑兵“迎驾”的。杨广得报大惊失色。他才意识到危险离自己是如此的近，他没有料到自己册立的傀儡坐大后胆敢劫驾。12日，杨广一行几十万人急忙回驾驰入雁门郡城，打算依城抗敌。
雁门郡城即为有名的雁门关。位于山西代县。“天下九塞，雁门为首。”雄关依山傍险，高踞勾注山上。东西两翼，山峦起伏。山脊长城。其势蜿蜒，东走平型关、紫荆关、倒马关，直抵幽燕。连接瀚海；西去轩岗口、宁武关、偏头关、至黄河边。雁门关与宁武关、偏头关为内长城之“外三关”，这里峰峦叠蟑、山崖陡峭，关墙雉堞密集，烽堠遥相呼应，东西两面将老营口、坷申池口、阳方口、东隆口、西烃口、北楼口、大石口、石口、马兰口、茹越口、胡峪口等十八隘口连为一体，地势十分险要，为千古兵家征战之地。战国时期，赵国大将李牧常驻雁门，凭借关城之险，慎重防守，击败匈奴十万人马；汉朝名将李广、卫青、霍去病曾经率兵和匈奴在此廖战，大获全胜，威震塞外。这也是为什么杨广一行在知道始毕汗带了十万的突厥骑兵来拼命往这里挤的原因，就是想借险关来面对来势汹汹的突厥大军。
八月13日，突厥骑兵包围了雁门郡城，几十万骑兵入塞，穿过隋定襄、马邑二郡直入雁门，将杨广御驾后妃宫女宰相百官等十几万人围得铁桶一般。杨广一行猝不及防，上下惶恐，撤民房修筑工事以作守御。其时苏夔领城东面防卫事，用一夜时间造作了“弩楼车箱兽圈”，但是几次交锋，猝不及防的官军均不利，雁门郡四十一座城被突厥很快攻占了三十九城，只有雁门、哼县还在坚守。时雁门郡城有兵民十五万，粮食仅支两旬，情势危急万分。突厥的几次猛攻，箭头有的甚至落在皇帝杨广的跟前，弄得杨广狼狈不及，抱着幼小的儿子赵王失声痛哭，哭得“目尽肿”。城外杀声震天，城内乱作一团。关于战守之策，将相们意见纷纭，杨广甚至诏令裴矩和虞世基宿于朝堂，“以待顾问”。面对自己扶持起来的滔滔突厥骑兵杨广唉叹道:“向使长孙展在，不令突厥至此。”
大将军宇文述建议杨广率数千骑突围，尽早脱身。纳言苏威反对，认为万乘之主不宜轻动，且“城守则我有余力，轻骑则彼之所长气”，避长就短十分危险。民部尚书樊子盖同意苏威的意见，说:“陛下万乘之主，岂宜轻脱，一朝狼狈，虽悔不及，未若守城，以挫其锐，四面征兵，立而待。”接着，樊子盖又垂泣而谏:“愿暂停辽东之役，以慰众望，圣躬出慰抚，厚为勋格，人心自奋，不足为忧。”
近臣虞世基也同意