然而世事不能两全。就在刘备左奔右突，闯荡前程的同时，他的私人生活却一蹋糊涂。在成为豫州刺史之后，刘备在小沛纳甘氏为妾。这一年，刘备已35岁。当然，甘夫人不可能是这个35岁男人的第一个女人。刘备的第一个妻子到底是谁，现在已经无可考评，史书上只留下了这样一句话：“先主数丧嫡室”。那就是说，在甘夫人来到刘备身边的时候，刘备已经娶纳过好几个嫡妻，只是她们都先后死去了。因此，甘夫人便很快继为嫡妻，以嫡妻的身份管理刘氏家族的内务。
与刘备那些连姓氏都没有留下来的妻子比起来，甘夫人的命要稍好一些，她跟着刘备到处奔波，就在陪着丈夫一起依附刘表的时候，她怀了身孕，并且做了一个梦，梦见北斗星从她的口中滑入。不久她在新野生下了一个儿子，以梦为征，起名为“阿斗”。甘夫人是三国时期著名的美女，所谓“有美如玉”，恐怕也不过如此。真正的美人往往出于山野穷家，甘夫人就是如此。她出身微贱，但是从小便与众不同，相士看了之后都说：“这个女孩贵不可言，能够位极宫掖。”长成之后，她成为刘备的妻子。据说刘备曾经得到一个玉雕的美人，便在月色下将玉美人放在甘夫人身边，自己在帐外端详，却发现甘夫人的肌肤与白玉没有区别，竟然分不清哪个是甘夫人哪个是玉美人。
刘备身边的人妒忌甘夫人专宠，而甘夫人却妒忌玉美人与自己不相上下，常常想把玉人毁掉，便对刘备说：“从前子罕不以玉为宝，得到《春秋》的赞美，现在天下未平定，你怎么能玩物丧志呢？象这样的东西，不要再拿进来。”刘备听了甘夫人的话，从此再也不把玩玉人。
然而刘备虽然听从甘夫人所言抛开玉人，但在面对取舍之时，他对待妻儿的态度与先祖刘邦有异曲同工之妙。甘夫人便因此而被丈夫甩在乱军之中好几次。第一次被抛弃在乱军之中时，甘夫人与刘备还在新婚，尚未生下阿斗。当时是建安元年，吕布偷袭徐州得手，刘备在仓猝中脚底抹油，丢下甘夫人，自己跑到了广陵。甘夫人落到了吕布手里。
就在广陵，刘备又迎娶了亲信糜竺的妹妹为妾。吕布这时已经占据了徐州，得知消息，大约是觉得扣着甘夫人没意思（大耳刘居然不以老婆为念，又去当新郎，这个人质已经没作用了也），也就落得做个顺水人情，将甘夫人送还了给刘备。甘夫人受了一场大惊吓，好不容易回到小沛，却没想到丈夫竟然还有闲情泡MM，心里的滋味可想而知。但是事情到这里还没有完，如果甘夫人能够预知未来的话，她应该感谢糜夫人：刘备实在是给她找来了一个同生共死的女伴。
刘备此时已经沦为吕布的附庸。吕布指望让刘备作自己的部下，共同对抗袁术，但是吕布麾下的将领都认为刘备靠不住，应该找个岔子处死了事。吕布却不合时宜地发了善心，被刘备表面的温良恭敬所迷惑，非但没有处死刘备，反而将将领们的意思透露给了刘备。然后还接受刘备的请托，将他和家眷、旧部都隆重安排在小沛屯扎。刘备躲开了吕布和吕氏部将的眼目，在老据点小沛重整旗鼓。不久，他又重新拥有了上万人马。
建安三年（198）春天，吕布派人带重金打算前往河内买良马。结果没想到在半路上连金银带良马一起被刘备的兵给截了。吕布大怒，派中郎将高顺、北地太守张辽等人大举进攻。刘备力不能胜，于同年九月大败。眼看败局已定，刘备不假思索又再一次单身逃遁，这一次被他甩下的家眷是两个：甘夫人和糜夫人。刘备投奔曹操，得到曹操的厚遇，被任命为豫州牧，还给他军粮物资去小沛收拾旧部散卒、并派夏侯惇相助反攻吕布。结果仍然不敌，刘备仍然大败。甘夫人和糜夫人仍然被高顺活捉，第二次落到吕布手里。（这次弟媳妇甘夫人跟老哥吕布可成老熟人了。）
曹操大怒之下，亲自东征，这一次马到成功，在下邳（江苏睢宁），吕布因为未用谋士陈宫的计策，而被生擒活捉。当军士将吕布用绳缚到曹操面前的时候，刘备正好也在场。曹操早闻“人中吕布，马中赤兔”，很想把吕布收归麾下，便命令解开捆缚吕布的绳索。谁知道刘备却立刻在旁边插话，说：“不可！明公不见吕布事丁建阳、董太师乎！”（当年吕布先后归降丁原、董卓，又先后杀了他们）吕布万万没有想到，刘备竟然在这个节骨眼上恩将仇报，全不记当初辕门射戟的情份，大呼道：“大耳儿叵言！”但是曹操还是照刘备所说，把吕布和陈宫一起杀了。
实际上，刘备投奔曹操之时，程昱曾经劝说过曹操：“刘备有英雄之才，又很得人心，不可能甘做您的部属，与其等他日后与您为敌，不如赶紧杀了他了事。”——这番劝诫，与当初吕布部属劝说吕布之辞相仿。但是曹操也象吕布那样，没有采用。——其实就刘备屡屡战败、到处投奔，然后又时时反叛的行径来看，他自己的做部属之道，也并不比吕布高明多少。但是他竟然一直没有被杀掉，反而屡叛屡升发，不能不说，真是天意。吕布既然死了，甘夫人和糜夫人自然也逃出生天，又回到了刘备的身边。虽然丈夫没有同甘共苦的情谊，她们妻妾之间的感情却更加深厚。这为第三次遭劫打下了的基础。曹操对刘备很重视，封他为豫州牧、左将军，礼遇之至，出则同车，坐则同席。
此时，汉献帝刘协正和曹操在一起，他虽然无才无德，但是仍然奢望要做掌控天下、手握实权的皇帝，不甘于做曹操的傀儡，于是，他让自己的小丈人董承招徕人马。（汉献帝的正牌丈人，应该是伏寿皇后的老爹，董承只是汉献帝小老婆董贵人的爹而已）在董承看中的人马中，便包括刘备在内。我们应该记得，刘备常常自称是“中山靖王刘胜之后”，但是那已是西汉初年间的老帐，谁又知道是真是假？不过时势造英雄，如今汉献帝已是今时不同往日，急等人用的时候，只要沾个“刘”字，就统统认帐。于是迂尊降贵，一个愿打一个愿挨，葫芦提也就认了。刘备就此成了“刘皇叔”。
不过，这个皇叔不是这么好当的，没多久，董承便把汉献帝刘协的“密诏”传达到了刘备那里，要他和西凉太守马腾一起“勤王”，杀掉曹操，让汉献帝重振雄风。同时被收徕的“义士”，还有长水校尉种辑、将军吴子兰、王子服等人。然而刘备并不是真心想趟这混水，尤其当他尚在犹豫之时，曹操一句“今天下英雄，唯使君与操耳。本初之徒，不足数也。”更是把他手里的筷子都吓掉了。幸好当时正逢雷响，勉强吱唔了过去。不久（二○○年），衣带诏之事泄露，董承等人都被曹操杀了个干净，只有刘备，提前逃离了许州这个是非之地，回到了自己的老窝，保得了平安。
但是刘备与曹操的反目，至此已成定局。建安五年，曹操亲率大军东征。刘备本以为曹操不可能这么快就来找自己的麻烦，所以当兵士飞骑报讯的时候，他仍然不肯相信，亲自带了几十名骑兵出来看风头。一看之下，曹军大兵压境，旌旗猎猎，刀光闪闪。刘备顿时大惊失色，来了个“留得青山在，不怕没柴烧”，信也不报，头也不回，就径自逃之夭夭了。
这一仗，不用说也是曹操大胜，刘备大败。一场混乱之后，曹操把刘备的军队整体收编，关羽也被活捉，甘夫人和糜夫人更是不用提起，再一次被老公双双甩下，姐妹俩一起又成了俘虏。然而刘备与众不同的地方就在于：他虽然屡战屡败、狼狈万般，世上的人却仍然把他当英雄人物看待。他虽然逃跑，却仍然在曹操的死敌：袁绍袁谭父子那里得到了隆重的接待、倾心的结纳。
刘备有了安身之地的消息，很快就传到了陷于曹军中的关羽耳朵里。于是他带着甘夫人糜夫人一起逃离了曹军，回到了刘备身边。这时正是官渡之战的时候，袁绍虽有十二万人马，却仍然被曹操的四万兵力击溃。刘备看形势不好，又暗地里打算离开袁绍，派人去荆州与刘表联络感情。曹操取得官渡之战的胜利之后，便打算乘胜追击，捉拿刘备。却不提防刘备早有后手，已然溜到刘表那儿去了。
常言说，一笔写不出两个刘字。刘表对于堂堂刘“皇叔”的投奔，表示了非常热烈的欢迎，亲自出城相迎，还分给他兵马，让他屯驻新野。——就在这里，甘夫人生下了她唯一的孩子阿斗：未来的蜀后主刘禅。（刘禅生于公元207年，就在这一年，刘备与关羽、张飞“三顾茅庐”，请得了诸葛亮出山。）
刘备在荆州过了一段相对安宁的日子。然而他不是重耳，不会对“老婆孩子热炕头”的日子知足。他对自己不操兵弄马，大腿长肉的情形涕泪交加。于是他又重新开始招兵买马、收徕人心。很快，荆州的豪杰便有相当数量投靠到了他的周围。这使得刘表对刘备的用心产生了疑虑，百般提防起来。
建安十二年（208），曹操北征乌丸，刘备劝刘表趁机突袭许州，刘表既已对他起了疑心，自然不会采用他的计策，失去了一个大好机会。北征归来后，曹操再次南下，攻打刘表。就在这个时候，刘表病逝，将荆州刺史的位置传给儿子刘琮。刘琮不敢跟曹操作战，想要投降。刘备得知消息，大惊失色，知道自己若是落入曹操手里，可再没有上次那么好的结果了。于是跟刘琮翻脸，刘琮本是个没有本事的公子哥儿，被吓得站不起来，于是刘琮的部属和荆州百姓都归了刘备。当然刘备不会白拿刘琮的人财物，他专程去向刘表的坟墓辞行，眼泪鼻涕一番，表示自己乃是不得已而为之。接下来的事大家都知道了。刘备再一次发挥了他“妻子如衣服”的宗旨，把甘夫人、糜夫人连同婴儿刘禅，一起抛下，让张飞、赵云断后，自己先跑了。曹操派精兵五千追赶，一日�