东汉末年长期混乱，诞生了曹魏、蜀汉、孙吴三国。公元263年蜀汉被司马氏掌握的曹魏灭掉，公元265年司马炎代魏称帝（晋武帝），国号曰晋，建都洛阳，史称西晋。公元280年灭吴，统一全国，秦汉以来的华夏分裂，至此再度统一。统治疆域东、南至海，西至葱岭，南至越南，北至大漠，东至辽东。
但晋武帝死后不久，西晋宗室之间爆发八王之乱，曹魏以来入徙塞内的草原游骑少数民族也乘机起兵称帝，全国又陷入分裂混战的局面。在304年因为成汉与刘渊的立国，使北方进入五胡十六国时期。316年西晋亡于匈奴的刘曜后，西晋宗室司马睿南迁重建晋国，史称东晋，南北再度分立。南方有汉人的东晋统治，而北方则有入主中原的少数民族统治。在入主中原的众多少数民族中以匈奴、羯、鲜卑、羌及氐为主，统称五胡。他们在北方相继建立许多国家，而北魏史学家崔鸿以其中十六个国家撰写了《十六国春秋》，于是后世史学家称这时期为“五胡十六国”。
偏居一方的东晋于公元420年被废，取代的刘裕建立的宋，为区别于后世赵匡胤建立的宋朝，史学家长称之为“刘宋”。宋朝的开国皇帝刘裕是东晋末年发展起来的新兴力量，他在与东晋四大家族的斗争中取得的胜利。由于刘裕出身贫寒，又看到了东晋因大族屡屡兴兵反抗而使其灭亡的教训，故而在他登基后，不再重用名门大族。其用人也多为贫寒出身，兵权则主要交于自己的皇子，所以没重蹈东晋发生大族割据的覆辙。然而，由于皇子相互间的争权夺利，最后以至与相互残杀，这是刘裕始料未及的。422年，刘裕卒，宋少帝、文帝相继即位。其中，文帝刘义隆在位的三十年间，是宋朝最繁荣的一段时期，这时南方的经济、文化才真正有所发展。公元450年至公元451年，宋与北朝的魏国交战虽各有胜负，但却都损失惨重，使南北方无能力再发生大战。从此，南北方相对稳定下来。公元454年，文帝薨。文帝死后，宋孝武帝、宋明帝先后为帝，但他们俩都是有名的暴君，其不仅对诸将疑忌，而且兄弟间相互残杀，政治一度混乱。在此期间，南兖州刺史萧道成趁政治混乱之机而形成了较强的势力。479年，萧道成灭宋，建立齐。至此，宋朝宣告灭亡。
齐高帝萧道成借鉴了宋灭亡的教训，以宽厚为本，提倡节俭。他共在位四年，在他临死前，要求其子武帝继续统治其方针，并且不要手足相残。武帝遵其遗嘱，继续统治国家，使南朝又出现了一段相对稳定发展的阶段。武帝死后，齐国的皇帝又走上了宋灭亡的老路，他们纷纷杀戮自己的兄亲、叔侄，至东昏侯时，因其疑心过重，几乎将朝内大臣全部处死。这样一来齐国的江山又被动摇了。公元五零一年，雍州刺史萧衍起兵攻入建康，结束了齐的统治。
梁朝的建立者萧衍擅长文学，499年被任命为雍州刺史，他乘齐国内乱，发兵夺取了皇位，建立了梁朝。萧衍是为梁武帝，共在位四十八年。在武帝时期，北方的魏国已经衰落，再无能力对南方形成威胁。这本应为南方发展的大好时机，但武帝却昏庸无能，纵容大臣剥削人民，却又以自己节俭为借口，对一些忠臣的建议置之不理。公元五四八年，投降梁的东魏大将侯景倒戈。他以武帝从子萧正德为内应，进攻梁国。次年，侯景攻陷台城。此时，梁武帝早已饿死于城中，其子萧纲即位，是为梁简文帝。公元五五一年，侯景杀死简文帝，因此梁已完全处于崩溃的边缘。公元五五七年，在讨伐侯景的战争中发展起来的陈霸先灭梁，建立陈。至此，梁宣告灭亡。
公元557年，陈霸先废梁敬帝，自立为帝，建立陈，是为陈武帝。此时，中国南方经过了多年的战乱，经济遭到了严重的破坏。在此基础上建立起来的国家，便注定是短命的。陈武帝与其继承者文帝、宣帝先后消灭了王僧辩、王僧智等反对势力，又在建康附近打败北齐军。在一定程度上巩固了梁的统治，但毕竟由于国力衰微，陈的统治被局限于长江以南，宜昌以东的地方。公元五八三年，陈宣帝卒。其子后主陈叔宝即位，是为陈后主。
在南方建立的宋、齐、梁、陈、四朝被统称为南朝，与之相对应的在北方建立的一些朝代为北朝。
自晋南迁，北方一直处于拓跋部在北方建立起魏国（史称北魏）后，北方才从脱离了东晋名义上的统治，使局势逐渐安定起来。公元四七一年，魏孝文帝即位，开始了北魏的第一次重大改革。孝文帝拓跋宏是我国历史上一位杰出的政治家，他五岁登基，二十四岁正式接替文明太后执掌政权，执政伊始，他便开始了“文治”政策。为了加强同汉族及其他一些少数民族的交流，公元四五九年孝文帝以南征为名义，将都城从平城（今山西大同）迁至曹魏故都洛阳。由于洛阳远离鲜卑贵族居住的平城，保守势力相对弱了起来，在这种情况下，孝文帝开始了他的改革。
首先，孝文帝下令鲜卑人改穿汉人服装、禁止说鲜卑话，废除了鲜卑族的种种特权。后来又将鲜卑诸姓改为汉姓，其中拓跋改作元姓，另外还有一些鲜卑姓氏都改为长孙、穆、奚、陆、贺等汉族姓氏，孝文帝还通过婚姻方式来加强鲜卑同汉族的关系，同时在政治上大力重用汉族官员，以汉族习惯进行治理。通过孝文帝的一系列改革，使