凤四年（前54年），呼韩邪单于与其兄郅支单于战斗失败，单于庭遂为郅支占有，于是呼韩邪决计降汉。宣帝甘露二年（前52年），呼韩邪款五原塞。次年正月，朝见天子，汉隆重接待，居之北边，赈以谷食。郅支单于亦遣子入侍，图谋离间汉与呼韩邪的关系，未能得逞，乃西行经略右地，初尚得手。但由于郅支骄横，未能得到西域诸国拥戴，落得孤立困厄，在赴康居途中，“人众中寒道死，余才三千人”。汉元帝建昭三年（前36年），郅支被汉西域都护甘延寿、副校尉陈汤设计谋杀。早在汉元帝永光元年（前43年），呼韩邪已归塞北单于庭。呼韩邪闻郅支死，且喜且惧，喜者劲敌已除，惧者畏汉袭之。乃于汉元帝竟宁元年（前33年）再次朝汉，并求婚以自亲。汉元帝以后宫良家子王嫱（字昭君）赐之。自匈奴内乱，呼韩邪首次朝汉，至此已三十年，汉匈关系基本良好。昭君出塞之后，汉、匈更加亲善。王莽时，因莽一再轻侮匈奴单于，致使双方关系恶化，边隙又起。东汉之初，匈奴经过六十余年较为安定的生活，种人繁殖，势力增强。中土多年战乱，元气损伤，故刘秀对匈奴采取息事宁人措施，除赂遗匈奴财帛外，还将幽、并二州人民往常山（在代郡）、居庸关（在上谷郡）东南迁移，另外，增添边地屯兵，修筑亭候，设置烽燧。匈奴贵族仍不时侵犯，上党、扶风、天水、上谷、中山等郡并受其害。刘秀建武二十四年（48年），匈奴上层贵族争夺单于位的斗争又趋激烈，并正式分裂为南北二部。建武二十六年（50年），汉为南单于比立庭于去五原西部塞八十里处。继又听南单于入居云中。后南单于与北单于交战不利，汉又令南单于徙居西河美稷，并设护匈奴中郎将以佑护之。南单于亦自置诸部王，助汉戍守北地、朔方、五原、云中、定襄、雁门、代郡，皆领部众，为汉郡县侦探耳目。从此，南匈奴人众过着比较安定的生活，人口日益繁衍。至汉和帝永元二年（90年），南匈奴党众最盛，领户三万四千，口二十三万七千，胜兵五万。北匈奴则连年内乱，众叛亲离，南匈奴攻其前，丁零寇其后，鲜卑击其左，西域叛于右。加以天灾，人众向南匈奴及汉朝投降者前后相属，于是南单于一再给汉上言，宜及北虏分争，出兵讨之。汉两次遣军大举远征，出塞各三、五千里，较之前汉武帝时，费力少而战功多。北匈奴主力从此退出漠北，其故地尚有十余万户，皆为自北南下的鲜卑人领属。从而促成了鲜卑日后的强盛。
最令人遗憾的是，此时汉朝已经开始走下坡路。政治昏浊，外戚和宦官迭相揽权，国事日非，下民困苦。不仅鲜卑和羌人对汉朝的战争频繁发生，就是南匈奴也“叛服不一”。
南单于与其他割据一方的军阀一样，积极参与了汉魏之际的各种战争。
汉灵帝中平元年（184年），发生的以张角为首的黄巾起义虽然不久便被镇压下去。但其他汉胡人民的起义仍连续发生，其中规模较大的有凉州边章、韩遂的汉羌军、今河北西部山谷区张燕领导的黑山军，都发展到十余万乃至数十万之众。汉朝先派司空张温发幽州乌桓突骑三千讨凉州。这支队伍刚行到蓟中，乌桓因军中饷款亏欠，多叛归。故中山太守张纯怨张温不令自己带领这批乌桓部队，乃与同郡故泰山太守张举及乌桓大人丘力居等连盟反叛，劫略蓟中，杀护乌桓校尉及右北平太守，众至十余万。灵帝中平五年（188年），汉朝调发南匈奴兵，配合幽州牧刘虞讨伐张纯。单于羌渠遣其子左贤王于扶罗将骑前往，匈奴国人恐发兵无已，于是匈奴右部■落与先已反汉的屠各胡合，共十余万人，攻杀羌渠。于扶罗在外闻知，自立为单于。杀羌渠的国人，恐于扶罗为父报仇，乃另立须卜骨都侯为单于。于扶罗到洛阳讼诉和求助。适逢灵帝病死（189年），董卓带兵入京，天下大乱。于扶罗乃与白波军合兵攻打郡县。时各地多聚众筑壁自保，于扶罗钞掠无所得，部众受到挫伤，只好在河东郡平阳（今山西临汾市西南）停住。须卜骨都侯为单于仅一年而死，南庭不再立单于，只以老王代行国事。
献帝初平元年（190年）初，关东州郡起兵讨伐董卓。于扶罗与驻在上党的张杨一起投靠了袁绍，二人屯兵漳水。次年（191年），于扶罗拟叛离袁绍，张杨不从，于扶罗乃劫持张杨出走，在邺城南被袁绍将麴义击败。既而于扶罗袭杀驻在黎阳的度辽将军耿祉，兵势复振。董卓以朝命封张杨为河内太守。初平四年（193年），袁术从南阳转移到陈留，屯军封丘（今河南封丘西南），于扶罗又依附袁术。袁术被曹操打败后，于扶罗返归平阳。兴平二年（195年），于扶罗死，弟呼厨泉继立为单于。十二月，董承、杨奉等奉献帝东归，李傕、郭汜等追赶乘舆。董承、杨奉屡吃败仗，乃招故白波帅李乐、韩暹、胡才及南匈奴右贤王去卑，共同卫护献帝。建安元年（196年）七月，献帝始到洛阳，去卑又护送献帝到许，然后返回平阳。
建安七年（202年），袁绍甥并州刺史高干、河东太守郭援及南匈奴单于呼厨泉一齐背叛曹操。操使司隶校尉钟繇围南单于呼厨泉于平阳，呼厨泉降操。
建安十年（205年），操北征乌桓，高干再次叛操，守壶关口。次年，被操攻克，高干自入匈奴求救，呼厨泉不受，操遂定并州。
并州既是胡汉杂居之地，又俯邻邺、洛二都，所以曹操对治理并州的人选极为注意。如河东太守杜畿、并州刺史梁习都是操精心选拔出来的州郡要员。《三国志》卷15《梁习传》载：
并土新附，习以别部司马领并州刺史，时承高干荒乱之余，胡狄在界，张雄跋扈，吏民亡叛，入其部落，兵家拥众，作为寇害，更相扇动，往往棊跱。习到官，诱谕招纳，皆礼召其豪右，稍稍荐举，使诣幕府。豪右已尽，乃次发诸丁强，以为义从；又因大军出征，分请以为勇力。吏民已去之后，稍移其家，前后送邺，凡数万口；其不从命者，兴兵致讨，斩首千数，降附者万计。单于恭顺，名王稽颡，部曲服事供职，同于编户。边境肃清，百姓布野，勤劝农桑，令行禁止，贡达名士，咸显于世。
梁习对并州境内匈奴各阶层的统治是：首先推荐其豪右到中央任职，以防止他们在原地兴风作浪；次即征发强壮男丁，以为“义从”；对一般匈奴部众，则趁中央大军出征，分请以为“勇力”。这样，既可为国家补充精勇军队，同时也给匈奴部众开辟建立军功的机会。等豪右和丁强皆已离境，然后把他们的家属迁往邺城，充作质任。至于不服从调遣和政令的，则予以镇压。对于州界名士，皆量才录用，或贡达朝廷。这样，匈奴上下皆服从供职，同于编户。
至于曹操及其后统治者对移入内地匈奴人的措施，史书有以下记述。《通鉴》卷67建安二十一年载：
南匈奴久居塞内，与编户大同，而不输贡赋，议者恐其户口滋蔓，浸难禁制，宜豫为之防。秋七月，南单于入朝于魏，魏王操因留之于邺，使右贤王去卑监其国。单于岁给绵、绢、钱、谷，如列侯。子孙传袭其号。分其众为五部，各立其贵人为帅，选汉人为司马，以监督之。
《晋书》卷97《北狄·匈奴传》亦言：
后汉末，天下骚动，群臣竞言，胡人猥多，惧必为寇，宜先为其防。建安中，魏武帝始分其众为五部，部立其中贵者为帅，选汉人为司马，以监督之。魏末，复改帅为都尉。其左部都尉所统可万余落，居于太原故兹氏县（今山西汾阳县）；右部都尉可六千余落，居祁县（今山西祁县东南）；南部都尉可三千余落，居蒲子县（今山西县）；北部都尉可四千余落，居新兴县（今山西忻县）；中部都尉可六千余落，居大陵县（今山西文水东北）。
《晋书》卷56《江统传》言：
建安中，（曹操）又使右贤王去卑诱质呼厨泉，听其部落散居六郡，咸熙之际（264年），以一部（指左部）太强，分为三率（同帅），泰始之初（265年或稍后），又增为四。
由上可知，随着匈奴部众居地的扩充和人口繁殖，魏晋统治者对匈奴的控制也日愈严密。曹操时的政策是：（1）留单于呼厨泉于邺，以防其惑众生事；（2）令比较顺附的右贤王去卑代行国事；（3）分匈奴之众为五部，以削其势；（4）令汉人为各部司马，以收匈奴贵族之权。这种分而治之的政策，当中枢尚能控制大局时，固无问题，但如遇政治败坏或内乱迭起时，就会失去控制，甚至遭到倾覆之祸。当时有识之士，早已预见及此。《三国志》卷28《邓艾传》载：
是时，并州左贤王刘豹并为一部，艾上言曰：“戎狄兽心，不以义亲，强则侵暴，弱则内附，故周宣有狁之寇，汉祖有平城之围。每匈奴一盛，为前代重患。自单于在外，莫能牵制，长（去字之误）卑诱而致之，使来入侍。由是羌夷失统，合散无主。以单于在内，万里顺轨。今单于之尊日疏，外土之威寝重，则胡虏不可不深备也。闻刘豹部有叛胡，可因叛割为二国，以分其势。去卑功显前朝，而子不继业，宜加其子显号，使居雁门，离国弱寇，追录旧勋，此御边长计也”。又陈：“羌胡与民同处者，宜以渐出之，使居民表。”
邓艾和曹操一样，他也看到匈奴的民族凝聚力尚极强固，其原来单于虽被分隔在邺，但其中大部分王侯犹足以兴风作浪，仍需继续分割其势，尤需把与汉人杂处的匈奴人设法移居边外，以断祸根。邓艾这种逐渐徙出羌胡的主张比后来晋惠帝元康九年（299年）江统发表的著名的《徙戎论》还早了四十八年。但这种徙戎主张说起来容易，切实行之就很难。如同当时反对徙戎的晋臣所指出：在天灾人祸已经搅得�