虽然在公元582年的时候，沙钵略可汗无奈地退兵回去了，但是在第二年开春之后突厥小规模的入侵隋朝边境仍然不断，于是要镇守前方的晋王杨广没有办法只好辞别父母带着娇妻回到军情紧急的并州。开皇三年(583)四月，对突厥的不断入侵忍无可忍的杨坚决定主动出击，命卫王杨爽等为行军元帅，分八道出塞伐突厥。杨爽军在白道（今内蒙古呼和浩特西北）与沙钵略可汗遭遇。隋军行军总管李充言对杨爽说：“周、齐之世，有同战国，中夏力分，其来久矣。突厥每侵边，诸将辄以全军为计，莫能死战。由是突厥胜多败少，所以每轻中国之师。今者沙钵略悉国内之众，屯据要险，必轻我而无备，精兵袭之，可破也”。杨爽采纳了这个正确的建议，令李充率精骑五千袭击突厥大营。突厥大败，弄的沙钵略丢弃所穿戴的金甲，潜草中而遁。当年突厥又发生天灾，其时塞上饥谨，突厥军中无食，“粉骨为粮”，结果疾疫流行，死者甚众。白道之战的同时，东北边，隋幽州总管阴寿帅步骑十万，击败高宝宁。西北边，隋秦州总管窦荣定帅九总管、步骑三万，大败阿波可汗。
开皇三年（583年）五月，突厥阿波可汗与隋将窦荣定在西北每战皆败，前文提到的长孙晟又乘机游说阿波：“摄图（沙钵略可汗之名）与阿波本来兵势对立，今西域达头可汗已与隋朝连合，阿波何不亦附天子，与达头相合为强！否则摄图问罪，只能受辱遭戮”。阿波可汗于是遣使入朝，与隋言和。沙钵略素来忌惮阿波骄悍，自从白道大败而归后，听说阿波暗通隋朝，大怒，趁阿波没有回来，袭击其北牙，还杀了阿波的老母。阿波回来之后，牙帐被毁无处可以安身，只得向西投奔达头可汗。达头可汗在西域握有重兵，早就不满兵强位下的状况，欲夺大可汗之位，于是发兵十万助阿波攻沙钵略。阿波屡胜，夺回故地。沙钵略因小可汗贪汗素来和阿波可汗和睦，便又夺贪汗的部众及可汗之位，迫使贪汗也投奔西域达头；沙钵略堂弟地勤察因与沙钵略的矛盾炽热化，亦率众叛归阿波，，沙钵略可汗与阿波可汗相互攻伐不已，最后阿波可汗领有大漠西部与龟兹、铁勒、伊吾等西域地，建国西突厥汗国，以阿波可汗和达头可汗为可汗。而原突厥汗国改称**汗国，依旧以沙钵略可汗为可汗，至此，强盛的突厥一分为二成了东、西突厥。
东、西突厥打得不可开交，为争取隋朝的支持，双方各自遣使向隋杨坚，请和求援。这下彻底改变了以往突厥控制中原的局面，由隋朝掌握了主动权。杨坚采取长孙晟的建议接受实力较弱的达头的请降，但不派兵助攻沙钵略以坐山观虎斗。而后突厥苏尼部万余人归隋，杨坚又派遣高颎出宁州道，虞庆出原州道，两路出击突厥，沙钵略顿时陷入的困境，不得已，这个曾经不可一世的突厥汗国的大可汗向隋帝杨坚低头请和，他的妻子前北周千金公主也上表请做杨坚的女儿。当时在并州镇守的晋王杨广认为一举灭掉突厥的机会来了，上表“请因其衅而乘之”。杨坚知道自己的实力且出于对整个突厥控制的需要，没有采纳儿子杨广的建议下同意沙钵略的请和，并册封千金公主为大隋的大义公主，取大义灭亲之义，纳入皇室宗籍。自此隋帝与突厥可汗以翁婿相称，可沙钵略依然感觉到作为突厥汗国大可汗下跪接受隋帝杨坚诏书的羞愧与耻辱，但是突厥与隋之间的主动权已经不再他的掌握中了，他只有接受而不能去反抗。
达头可汗也许更没有想到的是他有一天会沦落为隋帝杨坚的臣子。因为杨坚虽然接受了他的请和，却没有对他抵御阿波等人反叛攻击做任何的帮助。而因为达头阿波等的反叛，他的实力的减弱，以至于东边曾臣服的契丹也蠢蠢欲动，四面楚歌的弄得沙钵略可汗有一种亡国的前兆。实在无奈的沙钵略只好在开皇五年（585）七月上表向杨坚告急，请求率领部族南下，寄居在白道川。此时的他实质上是寻求隋朝的军事保护。隔岸观火的杨坚也不愿让西突厥过分强大，他采取的战略是，平衡突厥双方的实力，使自己长居于仲裁者的地位。于是，他把天平转而倾向了势弱的沙钵略，下诏给并州的晋王杨广让他领兵援助正处于灭亡边缘的沙钵略，同时赏赐沙钵略大量的衣物，并从阿波可汗的盟友阿拨国手中抢回了被掳走的沙钵略妻儿送还给他。
得到了隋的军事与经济援助，沙钵略便击破了阿波，重新站稳了脚跟。此时的他知道他的生存必须是依赖于隋的庇护，于是放下了突厥大可汗的尊贵，向隋求和称藩，表明“天无二日，土无二王，大隋皇帝，真皇帝也”。并与隋朝立约，以大碛为界，永为隋朝的藩国，为示归隋诚意沙钵略可汗遣第七子窟含真入隋为侍子。以后沙钵略可汗每年贡献不绝，杨坚也不亏待他，赐赏也十分丰厚。开皇六年（586），隋颁历法在突厥实行，使其奉隋之正朔，进一步了确立君臣关系。
开皇七年（587）四月，沙钵略可汗派遣他的儿子向隋朝进贡时请求朝廷允许突厥在恒州、代州之间打猎，杨坚欣然答应了，并派遣使者赐给沙钵略可汗酒食。沙钵略可汗率领下属突厥部落首领跪拜接受赏赐，样子虔诚而毕恭毕敬。
没过多久，一代风云人物沙钵略大可汗带着无奈与郁闷去世，杨坚为他罢朝三天，以示哀悼，并派遣太常寺