派往孙权处的使者最先返回，带回来的消息令刘备等人振奋，若是从孙权处暂借四县地盘，足够安置官兵和百姓了；于是，刘备令简雍开始准备南迁之事。
刘磐、刘度、刘琦等人率领四千多荆州兵和两千多蛮夷士兵，随刘备的使者借道交州边境，来到零陵郡，武陵郡被董卓完全占领。
刘磐被任命为军司马，管辖四千荆州兵；那两千多强壮的蛮夷士兵成为刘备的部曲；刘度等人被闲置，现在他们寄人篱下，也不敢反驳。
又过了一月，派往江东的使者才返回，不过秦关愿意接收地盘，却不愿意付出钱粮；刘备感觉，只要他能接收地盘，便能阻挡董卓的军队，他可放心南下，于是同意了秦关的意见，让江东白得两郡之地。
不过刘备一直没有等到前来接收地盘的人，等了一个月后，他猜测情况有变，便不再等待，而是命令大军南下。
简雍早就放出消息，董卓实力强大，不能力敌，大军将要南下，而百姓早知董卓军队残暴，若是留下，必遭横祸，无奈之下，只得跟随刘备大军南下。
刘备非常狡猾，既然与江东的谈判情况有变，他怕遭到江东的袭击，便决定兵分两路，东路由徐盛率领，带领军队和百姓从桂阳郡南下，经曲江县到达南海郡，渡江后便可到达孙权指定的地盘；这条道路比较近，且有黄盖等人接应，比较安全，徐盛不疑有他。
刘备亲率零陵郡的军队和百姓，准备直下苍梧郡。部队和百姓南下零陵县集合；并派出斥候，大张旗鼓的前去营浦县，探查到达苍梧郡谢沐县的道路。
从零陵郡的营浦县到苍梧郡的谢沐县，经冯乘县、富川县、临贺县、封阳县，到达苍梧郡的郡治广信县（后世的苍梧），是南下交州的重要通道，道路平坦，人员相对稠密，不过交州在沿途布置了重兵，刘备若是一路平推过去，将会非常困难。
这时，刘备却亲自带领两千多蛮夷士兵和陈到所率领的护卫兵以及部分精锐部队，突然转道去了零陵郡始安县；始安县就是后世的桂林；他准备从始安县，沿着漓水（漓江、桂江）直下东南，突袭苍梧郡郡治广信城，这样，北部诸县的官兵将会不战而降。
其它官兵和百姓，在郡丞蒋琬和军司马刘敏的率领下，前往营浦县，不知不觉中成了为刘备打掩护的靶子，成功吸引了董卓和交州军队的注意力；若是此行顺利，刘备准备到时候再派人来迎接他们。
刘备不愧为刘跑跑，对危险有天然的感知，这次又让他成功躲过了杨弘等人的算计；徐盛等人却没有这么好运了。
军阀带来的只有混战，对生产造成严重的破坏，给百姓带来无限的灾难。
刘备到达苍梧郡，立即给苍梧郡带来了战争。
广信城处于后方，毫无防备，且兵力很少，被刘备一鼓而下，让他失算的是苍梧郡太守并不在城中，这使得他的突袭行为成为冒险行为。
此时，苍梧郡太守士?正在临贺县，组织官兵防御刘备南下，而逃过一劫；得知广信失守，士?大惊，立即调整布防，准备反击；他估计刘备所带官兵肯定不多，绝不能让他在当地立足，否则就麻烦了。
于是，先调兵于封阳县，成为抵抗刘备的最前线；其次派兵切断漓水，断绝刘备的后退之路和联络；最后，联络其它几郡派兵前来支援。
太守士?的反应非常迅速，让刘备迅速占领苍梧郡的计划落空了。
此时，苍梧郡的精华在北部几县，那里离中原更近，迁移来的百姓都是就近安置，逐渐发展起来了。
等士?稳定住局势，便开始组织部队反攻。
刘备官兵数量太少，不能力敌，且广信城内极不稳定，他只得舍弃广信，向东逃跑；而此时苍梧郡东部两县的百姓已被孙权迁移到南海郡的东部地区，为刘备的到来腾出地方；刘备所过之处，连个百姓都没有，无法进行补给，且后有追兵，极为狼狈；至于所路过的两座县城，既没有多少军队，又没有多少辎重，他可不敢停留而被士?的大军包围。
士?带兵一路猛追，顺利收复空城高要县和端溪县后方才罢兵。
孙权估计士?的军队在北方边界驻扎，苍梧郡南部没有多少驻军，便没有在这两县驻扎多少军队，谁承想，士?的军队被刘备自己吸引过来，两城也被士?轻松收复。
士?对当地百姓全部被孙权迁离而恼火，其参军趁机建议道：“使君，咱们的百姓被孙权迁走，可是北方还有众多百姓和军队被刘备舍弃，此时不取，更待何时？”
士?大喜，笑道：“哈哈，此乃天赐也！”当即提拔参军为别部司马，带领军队前去招募被刘备舍弃的军队官兵和百姓，承诺为他们分发耕地、房屋等，并揭露刘备的虚伪。
士?在高要县留下三千兵马驻守，他本人返回广信城，尽快稳定民心，恢复秩序，把刘备带来的破坏降到最低。
别部司马不负所望。派人前往营浦县，散布他们只是吸引董卓部队的靶子，刘备早已溜走，而苍梧郡欢迎他们，会给他们安置房屋，安排耕地。
这些军队官兵和百姓中也有聪明人，多日不见刘备，也无人发号施令，早就起了疑心，现在传言不会空穴来风，很多人都相信传言是真的，刘备早已逃跑，他们被舍弃了，被出卖了。
而这时他们已离开了家乡，已无法返回，且他们更不愿意回去受董卓压迫，在刘