于停止国内冲突的命令和声明》，宣布张群、周恩来、马歇尔组成三人小组，领导军事调处工作，负责调处国共双方的军事冲突，监督双方执行停战的情况。然而这个虚幻的调解只是蒋介石的缓兵之计，全面冲突终于不可避免。不久，忽然报界传闻，张群病重，将赴美就医。
很快，张群被送往上海，几天内又由美国军用专机送往纽约就医。
口称身患癌症的张群，在纽约医院住下后，仍不停留地奔波于上层社会，谒见美国要员，活跃非常。以至后来有人竟猜测他赴美并不是真为了治病，而是另有重任。
张群自己始料不及的是，此一去，在老家的辉煌日子便跟着去了。
1946年年底，张群自感身体复原，原先传说的癌症被美国医生确认为误诊，如此便不用在美国耽误了。随即飞回上海。但此时要入川已是很难了，一方面四川要职已有人接任，蒋介石对张群也另有安排。
1947年，张群被委任行政院院长要职，达到仕途之顶。要说张群，数十年间在军政界担任的要职可谓一打接一打，就是没有当过行政院长，这一回可真成了一人之下万人之上的风云人物。张群自己也雄心勃勃，谋图振奋民国。但毕竟蒋家天下已近末日，张群之力岂能挽住历史巨轮？局势每况愈下，国民党内部纷争日益激烈，张群满脑子都是发愁的事。这一年夏天，张群到台湾呆了一段时光，为台湾光复二周年而四处巡视演讲。或许这时他便预感到后半生的归宿了。
行政院长实在难当，张群晋见蒋介石，想回四川去，重温旧日之梦。却被蒋介石斥责了一通。但很快蒋介石自己也保不稳了，随着战局的逆转，地方势力逐渐起来占据上风，发起倒蒋运动，蒋介石几经努力无法挽回败局，只得再次告退政界，回家“养老”。临走，又在各处埋下钉子，以确保地位不受冲击。
狼狈出西南张群被委派回川，做了大权在握的西南军政长官。
站在嘉陵江边，看着滚滚江水哗然而去，他竟找不回几年前吒咤风云时的感觉，此时的四川已由四川省主席邓锡侯把持了，就西南论，西康还有刘文辉，云南则是卢汉，都不是好惹的主。虽说贵州还由谷正纲兄弟掌握，但对西南政局无大影响，因此危局难握啊。
但事已至此，张群也只有勉力而为了。
很快，战场形势便完全转向了中国共产党一方。1949年4月21日，解放大军突破长江天险，攻克国民政府首都所在地南京，一种末日的感觉很快笼罩了蒋介石政府的上上下下。
22日，蒋介石召集李宗仁、何应钦、张群等在杭州举行秘密会议，决计负隅抵抗。云、贵、川、康等地的国民党残部由西南行政公署长官张群和国防部西北指挥所主任胡宗南负责指挥，谋图再次将西南作为战略大后方，重演抗战时的一幕。
但时光不会流转了。
解放军从四面八方进逼四川，国民党军队一溃千里。
1949年的秋天，五星红旗已在天安门上飘扬了，蒋介石仍在西南一隅做最后的顽抗。也许西南对他在心理上是个寄托吧，毕竟在这里与日本人较量了8年呀。
12月8日，蒋介石在成都召开“行政院”紧急会议，部署逃往台湾事宜，同时命令在西昌设立总指挥部，与解放军继续周旋。
在同一时刻，被指派坐镇云南的张群却已成为无用之人。蒋介石对云南省主席卢汉一直放心不下，此时局势危急，自然更得从严掌握，便让老将张群前往，试图对卢汉有所牵制。不料卢汉已决意起义，张群遂被扣留。
12月9日，西南联片起义，卢汉在昆明、西康省主席刘文辉在彭县、西南军政公署副长官邓锡侯、潘文华在雅安，同时宣布滇、康和平解放。卢汉致电刘文辉，要其将蒋介石扣留。电文被蒋介石截获。
10日，蒋介石仓惶乘机逃离成都，往台湾去了。
之后不久，张群也被送往香港，张群在西南的最后惨然一幕，似可看做蒋家王朝的缩影。
蒋介石的影子说张群是蒋介石的影子，是相当贴切的。
这不，蒋介石刚到台湾落下脚，张群也跟着来了。此时的张群已年过花甲，但在蒋介石的心里，他依然是最有力的帮手。
张群跟着蒋介石在台湾孤岛上尽全力苦心经营着，并时时做反攻大陆、重现当年风光的梦。
1949年的冬天，张群从香港辗转来到台湾，蒋介石正期待他一起共事。
在最初的二、三年里，张群先后担任过“总统府资政”、国民党改造委员会中央评议委员、国民党中央设计委员等职。
1953年，是张群重振雄风的日子。是年7月，张群调任由蒋介石兼院长、以训练“反攻”干部为任务的“革命实践研究院”主任。到年底，又被任命为“总统府秘书长”，终日伴蒋左右，为之出谋划策。
这样的相随，对于蒋介石和张群来说，都已是习惯中的事了。从头说起，可以追溯到清宣统年间。
那还是在日本。
在日本陆军士官学校里，两人便结下了同窗之谊。只是蒋介石未能读完学业便离开了，张群则正经拿了毕业文凭。之后二人在数十年的交往中，张群与蒋介石结下性命之交。
当年武昌起义时，张群和蒋介石同时效力于上海都督陈英士部下。那个冬天，对于二人来说都是难忘的。
一天夜里，张群敲开了蒋介石的办公室，因一项重要机密与蒋商谈，二人久议不决，只是凝神沉恩。北风刺骨、寒湿异常，蒋、张竟浑然不觉，一直到东方发白，蒋介石一言不答，张群也不再问，竟是呆坐了一夜。
之后，凡是蒋介石遇有危难时，必有张群相伴左右。
1927年秋天，在各路力量压迫之下，蒋介石被迫宣布下野。
10月，蒋介石满脸阴郁来到日本，同行的是张群。经由张群牵线，蒋介石在日本受到黑社会领袖头山满的热情款待，头山满还特地向工业巨头川野长成借了一幢大房子，以供蒋介石使用。
这以后，每当蒋家王朝处于危急时刻，张群总是被委以重任。
比方说1948年的“行宪国大”。当时国统区和国民党内部非常混乱，蒋介石在行宪大会上遭受了大的失败。由于先期召开的“制宪大会”规定，总统的权力要受到立法院的严格限制，这样总统便只是名义上的国家之首。这样蒋介石声言决不竞选总统，而愿意担任正副总统之外的其他任何职责，也就是说要当实权在握的行政院院长。
张群对此一目了然，毕竟是数十年交情呀。张群首倡，拉来721人签名，向大会提出了《请制定动员勘乱时期临时条款案》，主张“总统在动乱时期，为避免国家或人民遭遇紧急危难，或应付财政经济上重大变故，得经行政院会议之决议，为紧急处分，不受宪法第39条或43条所规定程序之限制。”
这个提案帮了蒋介石的大忙，因此在此案通过之后，蒋介石也欣然食言，竞选总统，并以2430票对269票击败陪选的国民党元老居正。能有这个结果，张群之功是不可没的。
这一年年底，蒋介石的位子又不稳了。辽沈、平津、淮海战役对蒋介石次次沉重打击，蒋军嫡系主力部队损失惨重，以李宗仁、白崇禧为首的桂系势力联合其他反蒋力量，迫蒋引退。
12月31日，旧年的最后一天，蒋介石官邸集聚了众多的国民党要员，李宗仁、孙科等俱在。蒋介石阴沉着脸，向在坐40多位大员征询对自己下野的意见，或许他指望在年末的最后一瞬挽回局面，好有个吉利的来年，结果却令他大失所望，众人多表示蒋介石应离职。不得已，在第二天的元旦文告中，蒋介石只好说“个人进退出处，绝不萦怀，而一惟国民公意是从。”话虽这么说，真要离去，终归有些不舍。
新年过后，蒋介石又招来主要谋士张群、孙科、张治中诸人，商议对策。完后张群再次出马，飞往汉口、长沙，与此次倒蒋的头面人物白崇禧、程潜会谈，传出蒋的口风“余欲引退，必由自我主动。”也就是说，引退与否由自己做主，而不是白、程之人所能逼迫的。
张群后来做了重庆绥靖公署主任和西南军政长官，也是为蒋介石引退而走的一步棋，直到后来在云南被卢汉扣留，在大陆的影子历史才算完结。到台湾的头几年，张群似较闲散。但蒋介石对张群一直用心颇重。张群以谋士身份出入左右，成为蒋介石的幕僚长。
台对日交涉的主角1952年秋天，蒋介石与日本签订了《中日和平条约》，此事对于身处孤岛的蒋介石来说，可谓头等大事了。8月2日，就在条约签订的当天，张群以蒋介石私人秘书的身份飞赴日本。在日本期间，他与日本战后杰出首相吉田茂作了3个小时的长谈，完成了两件事，一是为董显光出任驻日大使铺平了道路，二是将比本原定的首任驻台大使太田一郎改为芳泽芳吉，芳泽芳吉是张群的老朋友。
那时的日本舆论，对条约及张群访日的反应都很是冷淡，但张群作此次重要访问，对蒋介石和他本人来说都是不寻常的，后来张群曾长期主持对日外交，俨然是“日本通”。如果上溯几十年，三十年代与日谈判时或者就已奠定了地位。
张群在日本呆了三个月之久，与日、美外交人士接触广泛，对日台贸易大加鼓动，一面又大力阻止日本与大陆的经济往来。这时在台湾成立了“中日文化经济协会”，张群出任会长。10月份，日本外务省及通商产业省主持的“远东经济研究所”，在香港拉起了“日华经济协会”，张群起了幕后策划作用。
现在当了“总统府”的秘书长，于张群谋士的天性似更合适些。
到五十年代中期，又逢国民党台湾当局大选，以张群的资历与威望，当选“副总统”应在预料之中，一时朝野舆论皆看好张群，然而张群终究没有参加竞选，仍做他的秘书长。个中缘由，现在已难以断定了，但有两点传闻说得有些道理。一是蒋介石原是有心要提张群上来的，后来权衡再