里与众人欢呼抗战的胜利。
当解放战争的大幕猛然拉开时，一直惦记着部队的徐向前再也躺不住了。虽然他清楚地记得毛泽东来医院看望他时说的话：“向前同志，安心养病，以后国民党不会叫你闲着的！”但当全国战场上的隆隆炮声传来时，他每时每刻都难以安心。
1946年11月，在得到中央同意后，徐向前兴奋地简单收拾了行装，同徐特立一家、王明一家、郑位三一家、刘少奇的爱人王前等人一起离开延安，不顾沿途敌机的轰炸扫射，昼夜兼程地赶赴山西前线。
1947年6月，徐向前被中共中央军委重新任命为晋冀鲁豫军区第一副司令员。当时，刘伯承司令员和邓小平政委已经千里跃进大别山，山西战场上的军事、政治担子都落在了他这个告别战场两三年的战将的肩上了。但血与火中冲杀出来的徐向前信心十足，他还要在战火中重新锻铸他那把曾经是十分锋利的战争之剑。在了解了战场情况以后，他决定首先攻取运城，再夺取临汾，打两个漂亮的歼灭战，试试刀锋。
谁知运城和临汾竟是两个“硬桃核”。徐向前病后出征，虽然取胜，但胜得并不轻松，甚至可以说全靠巧妙的战术攻克这两座城市。
徐向前到晋冀鲁豫战场的一个多月前，太岳军区的部队曾经打过一次运城，因城坚难摧，主动撤离。徐向前到达运城前线后，决定以王新亭的第八纵队和吕梁独三旅、太岳三团等部队担任主攻。谁知激战一周，运城没有攻下，胡宁市派出的4个旅援兵却从三门峡地区北渡黄河，前来增援运城。为避免被动，攻城部队只好先撤退。
正当战士们为没有打下运城而着急时，徐向前得知王震将军率领西北二纵路过晋南。想起“王胡子”，他一拍大腿：“有了。”他一刻也没有耽搁，马上去找王震商量，请王震这个纵队协助攻城。
王震笑呵呵的，答应得很痛快。说起打仗，他也是个急性子。王震向徐向前提了个条件：此事须得毛泽东同意。
徐向前向毛泽东报告后，毛泽东表示同意，并指出，王震纵队应位于黄河北岸要点，确实保证河南敌不能北渡，方有把握，否则敌必增援，攻运城仍无把握。毛泽东主要考虑胡宗南在黄河南岸的4个旅和1个骑兵团是增援运城的主要力量，特别提醒徐向前和王震注意。
当时的山西，百废待兴。对徐向前来说，攻取运城固然重要，但土改也是大事一桩。由于徐向前要同薄一波、滕代远一起参加土地改革会议，只能让晋冀鲁豫军区第八纵队司令员王新亭任运城前线指挥部司令员，由西北野战军第二纵队司令员兼政委王震任政治委员，共同指挥两支部队攻城。
运城算一个“硬核桃”。王新亭和王震指挥部队从12月16日打到26日，激战10天竟未能攻克。部队哪打过如此难打的仗，哪吃过这个亏。不少中、高级指挥员有些心疼部队，对攻城有些犹豫观望了。徐向前知道后打电报给王新亭：下死命令，坚持最后5分钟，一定要拿下运城。
坚持最后5分钟终于见效。27日夜，王新亭和王震的部队分别从城北和城西突破，攻入城内，歼灭守敌，艰难地“吃”掉了第一个“硬核桃”。
运城一役，更使徐向前坚定了对中等城市攻坚的信心。他的目光，又瞄向了晋南孤城临汾。
临汾是晋南最大的一座城市，也是历史上著名的军事重镇。临汾城内高外低，城墙坚厚，好像伏在汾河东岸的一头黄牛，素称“卧牛城”。当地有人讲，临汾城从来没有被攻破过，明朝未年李自成率军攻城，不但没有降伏这头“卧牛”，还被射瞎了一只眼，气得这位农民起义军的首领把盔甲挂在城外的一棵树上，撤兵而走。
也许历史记载的作用，自运城解放后，晋南的反动乡团、地痞恶霸都缩进临汾躲避，把临汾当作了一个避风港。临汾守敌自恃墙厚壕深，欺我军没有飞机大炮，一时也嚣张无比。
徐向前决计攻取临汾，陕北中央也对此寄予厚望。拔除临汾，山西战场形势将发生重大变化。1948年2月，中共中央军委发布命令，决定组成临汾前线指挥部，由徐向前往总指挥。中央的命令正合徐向前的心意，他早已有心要制服临汾这头“卧牛”。
徐向前毕竟是我军有数的几位著名战将之一，他对啃“硬核桃”似乎更有办法。当时，双方的兵力对比和地势差别注定了临汾之战将是一场持久而残酷的啃“硬桃核”式的城市攻坚战。临汾守敌有阎锡山的第六十六师主力、胡宗南的第三十旅主力及8个地方保安团，共2。5万人。而徐向前统一指挥第八、第十三纵队及太岳军区、晋绥的吕梁军区各一部共5。3万人，兵力虽占优势，但除八纵二十三旅是参加过上党、平汉战役的老部队外，其余部队很少有攻坚战的经验，甚至其中的15个团是刚由地方部队升级上来的，装备差，无炮，总体上我军并不占优。
3月8日，临汾战役提前拉开了战幕。徐向前原先并未准备仓促攻击。但3月7日中央军委通报，胡宗南马上就要空运在临汾的三十旅回西安。为了阻敌西运，配合西北战场，徐向前决定提前发起临汾战役。八纵二十四旅连夜出发，在旅长王塘带领下，一昼夜强行军120里，赶到临汾城南飞机场附近，架起迫击炮，连发9弹，击中敌机2架。其余8架敌机来不及运兵，仓皇飞逃。胡军晕头转向，伤亡惨重，逃往城内。紧接着我军各部队从四面八方赶来，包围了临汾。
阻敌西运的战略意图已经实现，下一步就是强攻临汾，最终解除晋南敌情的问题了。但敌军岂肯就此认输？阎锡山给梁培璜下了死守的命令，要他“城存成功，城亡成仁”。梁培璜也表示要“下定决心与临汾共存亡”。他给部队下了“八杀”的命令；如“凡奉命进攻，迟延不进者杀”，“未奉命放弃阵地者杀”，“邻阵地被攻，有力不援者杀”，“主官阵亡，次官不代行其职务者杀”，可谓杀字满天飞，强迫官兵“决心死战”。
战斗稳步有序地发展。我军将临汾包围后，首先扫清外围，打通攻城道路。敌人炮火非常猛烈，我军多次冲锋，都未成功，敌我伤亡很多。我旅长王墉也不幸中弹牺牲。
在城东电灯公司阵地上，我夺得了阵地，敌六十六师师长徐其昌亲自督战，连续反扑。我军战士抱着“流血换来的阵地绝不能让敌人夺回去”、“能前进一尺，不后退一寸”的决心连续打退敌人7次反冲锋。徐其昌盛怒之下，撤了一个团长的职，又连毙数名作战不力的官兵，但其精心组织的反扑也像是撞在了橡皮墙上，不能前进一步。
我在攻击东关时，十三纵队一一二团七连战士李海水在登城战斗中负伤，被埋在土里，没有撤退。他隐蔽在外壕里边，组织起外壕里十几名伤员，挖工事，捡弹药，继续战斗。敌人冲来，十几名伤员奋勇反击，竟能在我后续部队难以到达的情况下，先后打退敌人6次反扑，坚持了一天，为我军最后打退敌军反扑赢得宝贵的时间。战后，临汾前线指挥部发布嘉奖令，表扬李海水的英雄事迹，命名第七连为“李海水英雄连”。
战争是英雄施展才能的大舞台，一名英雄造就了一支英雄的连队。外围战，也是徐向前施展指挥才华的关键时刻。战役开始后，敌人先把地方武装放在城外固守据点，与我拼杀，又把胡宗南三十旅两个团用来与我死拼，并从西安、太原、天津派来飞机助战，狂轰滥炸，并恶毒地施放毒气，企图消耗我主力于城外，使我丧失攻城能力。徐向前看清了敌人的企图，重新调整了部署，保留若干主力部队准备攻城，使各部队轮番与敌在外围作战，消灭敌人有生力量，控制护城外壕，加紧完成坑道作业，为坑道破城创造条件。而我军主力轮番上阵，轮番休整，不过多消耗。此举大获成功。战斗进行到4月10日，我全部扫清外围据点，并爆破开东关城墙，两个旅突进东关，基本歼灭了敌六十六师，仅徐其昌等少数人逃往城内。
战斗虽有进展，但战斗也是惨烈的。临汾城外围，激烈的枪炮声持续了20多天。我军在这20多天里虽歼敌3000多人，但自身伤亡也不在3000以下，虽扫清了外围，但攻城计划未能实现，部队士气颇受影响。
徐向前经过冷静分析，再次横下一条心：不拿下临汾，誓不回兵。
黄埔校出身的徐向前也是位饱读兵书、熟谙中国历史的人。战场的隆隆炮声并没有干扰他清晰地思维。他想到古典小说《封神演义》中有个土行孙，能钻地行走，来无影，去无踪，觉得打临汾也可以采用“土行孙战法”，在炮火不强，坚城难摧的情况下，集中兵力依靠坑道爆破来攻破敌人的“铜墙铁壁”。既然敌军的优势在地上，那我们就比地下。
朱德总司令也十分关心临汾战场，他同刘少奇一起专门拍电报给徐向前，介绍聂荣臻他们进攻石家庄的成功经验，希望徐向前再接再厉，攻克临汾。
5月7日，徐向前给朱德、刘少奇等人写了《克临东关以来作战情况综合报告》，汇报了在地上地下同时进行的战斗情况。但是，由于攻城消耗大，连续作战两个多月未克临汾，有人背着战场主帅徐向前提出放弃临汾，回师东进。
朱德听到这种议论以后，立即写信给晋冀鲁豫军区的领导，嘱咐他们尽最大努力支持徐向前，决不可自动放弃临汾。
徐向前当时并不知道上述情况，仍在一心一意地在研究“土行孙战术”破临汾。徐向前甚至对主力战将王新亭说：就是胡子打白了，也要把临汾打下来，打不下来你和我到五台山当和尚去。
战斗激烈的那段时间里，徐向前有时候看苏联小说，有时在作战值班室里练习写毛笔字，一张纸写满了，卷起来点烟。
5月10日，徐向前给夫人黄杰写信说：“攻下临汾指日可待。。我已数年不直接指挥打仗了，这一次出马就遇了一个硬桃核，而部队又多系新成立的，战斗经验不多，战斗力不高，真是使人焦心，现总算熬过来了。”