恨之入骨。清德的上司、湖南提督，也就是驻湖南最高军事长官鲍起豹更伺机报复，而机会也很快就来了。
绿营军看着曾国藩招来的这些湘勇土包子怎么看怎么不顺眼，经常借故与湘勇发生械斗。八月初四，鲍起豹的卫队又寻衅攻打湘勇，双方各有负伤。
军队没有纪律，何以平贼，何以安民？曾国藩向鲍起豹发去文书，要求他逮捕带头闹事的绿营兵，以杜私斗之风。
鲍起豹决意要借这个机会好好教训教训曾国藩。他故意将几名肇事士兵五花大绑捆起来，大张旗鼓地押送到曾国藩的公馆，同时派人散布曾国藩要严惩这几个绿营兵的消息，鼓动军人闹事。绿营一传二、二传三，人越聚越多，群情激愤，纷纷上街，游行示威，要求曾国藩释放绿营兵。长沙城中一时大乱。
张亮基调走之后，湖南通省官员都和曾国藩气味不投。出了这个事，满城官员都关起大门，袖手旁观，心中暗喜。“营兵既日夜游聚城中，文武官闭门不肯谁何。”等着要看曾国藩的笑话。绿营兵见状，胆子更大，居然开始公然围攻曾国藩的公馆。
曾国藩的公馆就临时设在巡抚衙门的射圃里，与巡抚骆秉章的办公室仅一墙之隔。曾国藩以为绿营兵胆子再大，也绝不敢武装攻击他这个二品大员。所以被绿营兵包围后，他还若无其事地处理公文。不料绿营兵竟然破门而入，连伤了他的几个随从。连曾国藩自己都差点挨刀。曾国藩夺门而逃，几步蹿到隔壁巡抚办公室门前，连连急叩。
绿营在门外闹事，巡抚骆秉章听得一清二楚，却装聋作哑，暗暗发笑。他早应该出来调停，却一直假做不知。直到曾国藩来叩门，他才故作惊讶，出来调停。绿营兵一见巡抚驾到，马上规矩下来。
骆秉章的调处办法是命人把鲍起豹捆送来的那几个绿营兵带过来，他亲自上前松绑，还连连向他们道歉，说让兄弟们受委屈了！
绿营兵面子挣足，兴高采烈地拥着这几人而去。
只剩下骆曾二人了，骆秉章一句安慰的话也没对曾国藩说，只淡淡地说了一句：“将来打仗，还要靠他们啊！”就转身走了。
曾国藩气得哑口无言。
湖南官员们眼见前一段飞扬跋扈的二品大员这次被狠狠地修理，个个眉开眼笑，把这事当成笑话，四处飞传。一时间，满城都是对曾国藩的讥笑之声。“司道群官皆窃喜，以谓可惩多事矣。”
四
这是曾国藩出生以来，第一次遭遇真正的挫折。进秀才的艰难，画稿遭人嘲笑的尴尬，比起这次挫辱来，完全不在同一个档次。堂堂副部级官员，差点让闹事的兵痞杀了，还没处讲理。这种难堪在整个大清朝的历史上，也不多见。我们可以想象曾国藩是如何心血上冲，夜不成寐。
曾国藩的第一反应当然是向皇上控告。干脆，借这个机会把到省办事以来所受所有排挤委屈都痛快淋漓地向皇帝陈诉一番！
然而细一想，他就知道这种做法行不通。这一道奏折上去，顶多打倒一个鲍起豹，能把湖南全省官员都搬倒吗？如果搬不倒全省官员，那么以后他在湖南的处境，岂不是更要寸步难行？
经过几夜不眠的反思，曾国藩做出了一个出人意料的决定：“好汉打脱牙和血吞。”他不再和长沙官场纠缠争辩，而是卷起铺盖，带着自己募来的湘军，前往僻静的衡阳。全省官员瞧不起我，我不争一日之短长。等到我在衡阳练成一支劲旅，打几个胜仗给你们看看，那时自会分出高下。这才是挽回面子的最好办法！
五
咸丰三年八月，曾国藩带着受伤的自尊心到达衡阳，开始赤手空拳创立湘军。
确实是赤手空拳。
刚到衡阳，曾国藩面临着五无：
一是无办公场所。
二是没有名正言顺的职权。开始他想挂上“统辖湖南湘军总营务局”的牌子，写好之后，又感到不妥：正是他过分张扬的言行使他与湖南官场呈现紧张状态，这个牌子一挂出去，必然会引来湖南官场的再次攻击。因为谕旨中明确写明他的权力是“帮办”，而不是“统辖”。想了想只好把牌子摘了下来。
三是还没有经验。军事是高度专业化的，进士出身的曾国藩没有当过一天兵，对于行军布阵，带兵训练，没有一点实际经验。如何招兵，如何筹饷，如何采购武器，如何编营，如何训练，如何制定营规，如何选择军官，如何设定军饷标准，如何排兵，如何布阵……太多环节要从头学起。
四是没有朋友前来帮忙。长沙之辱使曾国藩脸面丧尽，人心离散。不但通省官员们不齿于他，甚至他的那些好友郭嵩焘、郭焘、刘蓉、左宗棠，也都认为他行事鲁莽，难以成功，竟没有一人愿意前来帮他。
当然，这些都不算真正的困难，真正的困难是第五条：无制度保障。
文人练兵，这在大清史上是头一遭儿。湘军从出生这一天起，在旧体制内就没有安身之处。它就像一个私生子一样，不但被八旗绿营排斥，甚至也不被大清朝廷和官僚体系所接纳。它的最大敌人，不是太平军，而是旧体制。这种体制上的矛盾，最突出的表现就是没有军饷来源。
按理说，皇帝交给曾国藩的任务是练兵，军费自然应该由国家供给。问题是，当时国家财政收入用来供给绿营军饷尚且不足，不可能为他专拨经费。湖南省官员既与他关系紧张，自然也不可能为他慷慨解囊。毕竟，练兵这个任务，是曾国藩自找多事，并非国家或者湖南省政府的计划。曾国藩身为不伦不类的“帮办大臣”，没有财政权和税收权，根本不可能开辟固定饷源。
然而对于一支建设中的军队来说，钱太重要了。钱就是空气，钱就是生命，钱就是润滑剂。没有钱，大至招兵买马，采购武器，小至办公经费，日常吃喝拉撒，哪一步也推不动。曾国藩说：“筹饷更难于督兵”，“大抵军政，吏治，非财用充足，竟无下手之处”。
六
可以说，如果没有长沙之辱的刺激，曾国藩不可能克服这五难，开创湘军。长沙之辱如同一根针扎在心里，让他时刻难以自安，终于苦苦支撑，惨淡经营，斩关夺隘，排除万难。
没有办公场所，他就借住在一户祠堂里。
没有名位，他只好照旧用长沙时用过的“湖南审案局”五个字，来接送公文。
没有经验，曾国藩就自己在黑暗中探索。他精心果力，认真思考绿营兵种种弊端之原因，创造了许多崭新的军事原则，比如招兵不用城市浮滑之人，只选朴实山农。比如“将必亲选，兵必自募”，比如实行厚饷和长夫制度。这些创新，都是军事门外汉曾国藩殚精竭虑集思广益的结果。事实证明，曾国藩的思路是非常高明的，湘军日后的成功正是基于这些制度基础。
制定军事原则难，具体的筹备工作更难，曾国藩步步都需要摸索，不断失败，不断犯错。我们不谈陆军，先来看看曾国藩是如何创建水师的。
有水师就要有战船，曾国藩找来湖南全省的能工巧匠，居然没有一个人知道怎么造战船。
曾国藩开始想造木排御敌。他异想天开地认为，“盖船高而排低，枪炮则利于仰攻，不利于俯攻。又大船笨重不能行，小船晃动不能战。排虽轻，免于笨，尤免于晃”。然而事实证明这不过是纸上谈兵，造好木排一经试验，发现木排顺流尚可，逆水行排则极为迟笨，且“排身短小，不利江湖”。以之当敌，不啻儿戏，于是改弦更张，一心造船。
既然无人会造，曾国藩就自己设计。湖南湖北赛龙舟风气很盛，于是他命人以龙舟为制，造了一批“曾氏战船”。
然而一试验，“曾氏战船”容易倾覆，根本打不了仗。费尽周折，曾国藩终于找到了明白人。从长沙前来的守备成名标向曾国藩介绍了广东快蟹船和舢板船的大概样子，又过几天，同知褚汝航从桂林前，向曾国藩介绍了长龙船的造法。于是大雇衡州、永州的能工巧匠，在湘潭设立两个船厂，大量制造快蟹、长龙、舢板战船。“两厂之船，往来比较，互相质证。”两位军官本身并非工匠，他们只介绍了外地船舰的大体模样，至于船的具体结构尺寸，乃至每一个部件，他都要和有经验的工匠反复设计，不断试验，史载曾国藩“创建舟师，凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力，不惮再三更制以极其精”。字字不虚。经过反复试验，终于建成十营水师。曾国藩建军，确实筚路蓝缕。
七
然而比起筹饷来，以上这些都算不上艰苦了。
关于军饷，曾国藩想来想去，只想出了一个办法：劝捐。也就是说，劝那些大户捐款，回报是由国家授予他们一些荣誉性的虚职。他在衡阳设立劝捐总局，派人四出劝捐筹饷。
然而，曾国藩本身非官非绅，权力不明，收据由曾国藩自己刊印，信用不高。从咸丰三年八月到咸丰四年底，总局费尽口舌，一共才弄到一万九千多两银子，根本无济于事。劝而不动，他只好强行勒派。巨绅们如果拒不捐款，他就派兵动用拘押手段。结果得钱不多，招怨不少。曾国藩因此叹息：“劝捐之难，难于登天，费尽心力，迄无一获。”
甚至因为劝捐，他还得罪了皇帝。原来已故湖北巡抚杨健之孙杨江，急公好义，主动捐输军饷两万两银子，解了曾国藩的燃眉之急。曾国藩感动之下，想把他树为表率，带动捐输事业，于是上疏请旨，请朝廷批准将杨健列入祀乡贤祠。
杨健生前为官平平，且受过处分，其官声、治绩均不足以入祀乡贤祠。不过兵务紧急，同意他这个请求也算不上什么大事。不想精于小事忽于大计的皇帝根本体谅不到曾国藩的难处，恪守“名位不能轻易予人”的教条，大发雷霆，将曾国藩痛骂一顿，说他“所奏荒谬之至”，并且说“（曾国藩）实属袒护同乡，以私废公，显背圣旨，可恶已极……着交部议处”。
而京官们部议的结果竟提出给以革