此后，杨素屡立战功，北齐灭亡后，加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。北周建德六年(577年)十月，陈宣帝陈顼闻北周灭北齐，遂派名将吴明彻率军北伐。吴明彻军至北周吕梁(江苏徐州东南)，击败徐州总管梁士彦，进围彭城(今江苏徐州)。北周建德七年(578年)二月，杨素随上大将军王轨大破陈军，俘主将吴明彻。杨素遂治东楚州事。其弟杨慎被封为义安侯。陈将樊毅筑城于泗口，杨素将其击走之，并将所筑之城全部毁坏。北周宣政元年(578年)六月，周武帝去世，周宣帝继位，杨素袭父爵临贞县公，并以其弟杨约为安成公。北周大象元年(579年)，杨素随上柱国韦孝宽攻南陈淮南，率军攻克盱眙(江苏盱眙东北)、钟离(安徽凤阳东北)。
杨坚专权时，杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其交好。杨坚也知杨素之才，对其也非常器重，不久便以杨素为汴州刺史。后为行军总管参加过讨伐尉迟迥，不久任大将军，领河内兵打败宇文胄军，斩宇文胄。因功迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。杨坚登基后，杨素任上柱国，并参与了隋朝法律的修定。开皇四年(584年)，拜御史大夫。由于其妻郑氏是个悍妇，杨素一次与其吵架说了一句：“我若作天子，卿定不堪为皇后”。结果被其妻告发，杨素因此获罪，并被免官。好在杨坚一直准备灭亡陈朝，统一中国，杨素曾数次献伐陈之策，此次被免官后，杨素再次献伐陈之策。开皇五年(585年)十月，知杨素才能的杨坚让他担任信州总管，经略长江上游，后为行军元帅与杨广南征灭陈。杨素率领水军在长江上游打的南陈将领心惊胆战，他率领的水军气势宏大，大小战船铺满了整了江面，旌旗盔甲在阳光下鲜艳耀眼。而杨素本人端坐在平乘大船之上，容貌体魄雄健魁伟的他让南陈将领望而生畏，都说：“清河公就是长江之神啊！”平陈后因功封爵越国公，以其子杨玄感为仪同，杨玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈后主妹及女妓十四人。后又接替去了并州的杨广任内史令成为宰相之一。
受命平叛的杨素因军情紧急没有等在并州回来的杨广便先行出发，率军由杨子津(江苏扬州南)渡江，首先击破叛军朱莫问(自称南徐州刺史)于京口(江苏镇江)。继而击败晋陵(江苏常州)顾世兴，顾世兴率其都督鲍迁等再战，杨素击破之，俘鲍迁以下3000余人。又进击无锡叶略，平之。时沈玄侩、沈杰等等正围攻苏州，刺史皇甫绩屡战不利，杨素军赶到将其击败，沈玄侩逃至南沙人陆孟孙处，杨素进击陆孟孙于松江，大破之，生擒陆孟孙、沈玄侩。黟、歙叛军沈雪、沈能据栅自守，又攻拔之。高智慧(自称东扬州刺史)率部据守浙江(钱塘江)东岸营垒，屯据要害，周围百余里，船舰千艘，遮盖江面，鼓噪而进。总管来护儿建议：“吴人累锐，利在舟楫。必死之贼，难与争锋。公且严阵以待之，勿与接刃，请假奇兵数千，潜度江，掩破其壁，使退无所归，进不得战，此韩信破赵之策也”。杨素纳其言，并命其率轻型战船数百艘，偷渡浙江，以奇兵突袭，并焚烧高智慧后方营垒，使其恐惧不安；杨素则乘机率军从正面突击，大败高智慧军。尔后，杨素派行军总管史万岁率军2000人进攻婺州，自率主力由海道追击逃入海中的高智慧，直趋温州。高智慧来战，杨素将其击败，俘数千人。而后又平定蔡道人、汪文进。杨素在温州击败沈孝彻后，便由陆路转向天台、临海(今属浙江)，继续追击反隋散兵，前后战斗达100多次。高智慧退守闽、越。
杨素带兵叛乱，一路势如破竹，但是杨坚征召的儿子杨广却还没有到江南，于是杨坚担心杨素久在江南领兵对朝廷不利便以杨素久战于外，驰召还京，慰问备至，赏赍更厚，当时赐彩物三千段，并加封其子玄感为上开府。这江南叛乱刚刚平的差不多的时候杨坚就急急召还统兵的杨素，就是因为儿子不在他不放心军队掌握在别人的手里。
杨素知道皇帝的心思，所以闻召即归，表示并无异心，而后仍以余寇未靖，请再出师。杨坚看到他见诏即回并无不忠之心，且儿子杨广已经到了江南。便下诏给返京途中的杨素剿说：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，逃亡山洞，恐其聚结，重扰苍生。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事务，一以委之”。
于是杨素继续率军由会稽走海道向泉州追击。时泉州人王国庆为南安豪族，杀刺史刘弘，据州为乱，各处逃亡的叛军皆附于他。王国庆自以为海路险阻，而隋军多为北方人，不习海战，遂不设防。杨素率水师从海道掩至，王国庆大惊，弃州逃跑，其众或入海岛，或守溪洞。于是杨素分遣诸将，水、陆分进追捕。并派人密劝王国庆：“尔之罪状，计不容诛。唯有斩送智慧，可以塞责”。王国庆为了保命于是抓获投靠自己的高智慧，送交隋军，杨素将其斩首，余众全部投降。
而刚从并州回到长安后又马不停蹄赶往江南的杨广看到杨素快速进军，便