投奔冯玉祥实际上是张自忠军旅生涯的真正开始。这时，他已经二十五岁。按常例，此时从军已为时太迟。就连年纪比他小的佟麟阁、刘汝明、冯治安、吉鸿昌等人，都已经参军多年，当了连长。但对于一个有抱负的人来说，最重要的不是站在什么位置上，而是他是否找到了正确的奋斗方向。
冯玉祥的十六混威旅使张自忠真正得到了施展才华的用武之地和实现理想的奋斗舞台。
在这里，他埋头苦干，发奋进取，开始了轰轰烈烈的创业。投奔冯玉祥之初，张自忠被委为中尉差遣。差遣，是当时军队中的一种编外附员，需要随初级官长班见习一殷时间方能正式就任军官，所以又被称为见习官。不久，张自忠由见习官升任排长，所在连连长就是后来颇有名气的“倒戈将军”石友三。
为了增进初级军官的军事知识和技能，1918年9月冯玉祥在常德设立了军官教导团，以炮兵团团长鹿钟麟任团长。张自忠奉派进入教导团军官队深造。主要学习战术、率兵术、地形、兵器、兵史、筑城、简易测绘及典、范、令等。张自忠对军事的兴趣极为浓厚，故学习起来格外勤勉刻苦，加之他文化基础好，所以每次考试总是名列第一。鹿钟麟对他十分赏识，将他树为“标准学员”。冯玉祥也夸奖说：“在教导团中，他非常勤学，对人处事都极其真诚友爱，又能刻苦耐劳，这时便显出他未来一定是个将才。”
张自忠的带兵天赋很快显露出来。就任连长三个月后，他的第二连便在全旅备连军事考核中夺得第一，成为十六混成旅的“模范连”。模范连是冯玉祥治军的样板，张自忠得此殊荣，干得更加起劲了。经他训练出来的全连126名士兵，后来几乎个个成才，仅军长、师长就出了十个，旅长、团长就更多了。
从这时起，张自忠注重军纪、治军严厉的风格已经十分突出。遇有违反军纪者，他初则说服教育，再则严厉训斥，三则军棍伺候。正如士兵们在歌谣里所唱的：“教你学好不学好，鸭嘴军棍挨上了。”
后来，因张自忠对于违反军纪的官兵常说一句口头禅：“看我扒不了你的皮！”于是，被官兵们冠以“张扒皮”的诨号，全军上下无人不晓。一首顺口溜说：“石友三的鞭子，韩复榘的绳，梁冠英的扁担赛如龙，张自忠扒皮真无情！”
“张扒皮”的浑号使人误以为此公是个无情无义、粗暴蛮横的武夫，实则不然。张自忠爱兵如子，严中寓恩，深知“治兵先治心”的含义和“恩威并用”的运用之妙。以打军棍为例，张自忠并不是遇过即打，滥施棍杖，而是实行“八不打”，即：有病不打，盛气不打，盛暑不打，饭前不打，无恩不打，罚过不打，夯兵不打，不知不打。可见，张自忠对于如何使用军棍是十分讲究轻重分寸的。
不久，张自忠奉命移驻丰台。当时丰台已为英军盘踞多年。张自忠率部到达丰台时，英军不准其进入，双方发生争执。
那时候的许多中**人，在外侮的积威之下，对洋人不免是“闻鸣镝而惊心，对弯庐以屈膝”，但张自忠血气方刚，硬是派一个连强行进驻车站。英方派人前来交涉，张自忠说：
“丰台车站是中国的领土，中**队在自己的领土上执行任务，外国无权干涉：”英军见交涉无效，就武装包围了丰台车站，向我军射击，气焰嚣张。
张自忠当即命令车站守军：“他不犯我，我不犯他，他若犯我，坚决消灭他！”守军根据张的命令，一面从正面还击敌人，一筒派出一个班突袭敌后，英军不支，被迫撤退。但驻守铁道的英军仍不准我军士兵携带武器，致使双方再起冲突。这次英军派遣一位中国人为代表前来谈判，要求中**队撤兵。张自忠义正辞严：“这是中国的领土，不是英国的地盘，撤退的应该是他们！”一句话说得来人哑口无言。英军见碰上了强硬的对手，只好认输。从此，被英军盘踞多年的丰台车站重新回到中国人手中。
1930年中原大战后，冯玉祥军事集团被瓦解，张自忠所部被蒋介石收编。1931年后，张自忠曾任第29军第38师师长、第59军军长、第33集团军总司令兼第5战区右翼兵团司令等职。1937年，上海、南京相继沦陷后，日本侵略者又把兵锋直指徐州，志在夺取这一战略要地。1938年3月，日军投入七八万兵力，分两路向徐州东牝的台儿庄进发。待至临沂、滕县时，同中**队发生了激烈的战斗。
当时守卫临沂的是庞炳勋的第3军团。由于实力过于悬殊，伤亡惨重，庞部急待援军。
张自忠奉调率第59军以一昼夜180里的速度及时赶来增援。张自忠与庞炳勋原是宿仇，但他以国家、民族利益为重，摈弃个人恩怨，率部与庞部协力作战。敌军在飞机大炮掩护下，配合坦克、装甲车向茶叶山阵地发起进攻。
张自忠以“拼死杀敌”“报祖国于万一”
的决心，与敌激战，反复肉搏。茶叶山下崖头，刘家湖阵地失而复得达三四次，战况极其惨烈。经过数天鏖战，敌军受到重创，节节败退。中**队相继收复蒙阴、菖县，共歼敌4000余人。不久，日军再派坂本旅团向临沂、三官庙发起攻势，妄图有所突破：张自忠和庞炳勋部两军奋力拼杀，经彻夜激战，日军受到沉重打击，其向台儿庄前线增援的战略企图被完全粉碎，保证了台儿庄大战的胜利。
一九三八年的临沂战役中，五十九军与敌鏖战七昼夜，卒将日军号称“铁军”的板垣师团击溃，取得了振奋人心的胜利，自己也付出了重大的牺牲。经过这次战役，人们对张自忠的看法有了很大变化。不久之后，张自忠又率部参加了武汉会战，在潢川与敌血战十日，重创日寇于河南潢川，随即又被晋升为第三十三集团军总司令，进驻鄂西荆门县一带，在汉水两岸与日寇展开了周旋。从1938年11月到1939年4月初，短短4个月里，张自忠指挥所部接连进行了4次中小规模的战役，歼敌不下4000人。其中二月的京山之役战绩尤佳。国民政府主席林森签发命令，授予张自忠宝鼎勋童一枚。1939年5月2臼，国民政府又颁布命令，为张自忠加授上将军衔……1939年5月，中日两军在鄂北地区展开了第一次大交锋一一随枣会战。5月1日拂晓，日军在强大火力支援下，向襄河以东张自忠右翼兵团一八O师和三十七师发起猛烈进攻。
我军凭借工事顽强抗击，以血肉之躯支撑着并不坚固的防线，连续打退敌人三次进攻。战至6日，日军发起第四次进攻，我军阵地终于被突破，狮子山、杨家岗、长寿店、普门冲、黄起庵相继失守。8日拂晓，张自忠率幕僚及总部人员冒雨渡河，向东疾进。5月10日，该师在田家集以西之大家畈伏击日军辎重联队，一举歼灭其1000余人，并缴获军马数十匹、运输艇30余艘、军用地图、弹药给养和药品一大批。由于该辎重联队的覆灭，日军渡河攻击襄樊之计划落空了。
随枣会战中**队共歼敌1万余入。其中张自忠右翼兵团歼敌4500余人，缴获军马74匹及大批军用物资；自身伤亡4414人，失踪者2702人，其中又以五十九军付出代价最大，伤亡达2153人，失踪者2381人…．，当面之敌发起猛烈攻势，枪炮在呼号的寒风中轰鸣，声震山河。经过八昼夜血战，三十八师终于攻克罗家陡坡北面的曾家大包。随后，又在王家台子一带杀伤日军1500多人。在指挥部队展开正面进攻的同时，张自忠还策划了一次奇袭行动。命一三二师三九五团（团长任廷材）并配属三九四团一个营，对日军第十三师团第…O三旅团旅团部实施夜袭。此战，我军以伤亡280人代价，歼灭日军近千人，缴获的战利品，用两个运输营的驮马搬运两夭方运完。
此后，敌我双方在钟祥、长寿店一线对峙，二十九集团军也因攻击无进展而与敌相持…．．．．．但这时日军第十三师团向汉宜公路反攻，郭仟之江北兵团伤亡惨重，于22日撤回襄河西岸。这样一来，右翼兵团陷入孤军苦战，日军得以将兵力集中，攻击我右翼兵团。我军备路出击部队纷纷告急，要求后撤。但是张自忠不为所动，他在电话中对要求撤退的部将说道：”来电总说牺牲惨重，营长以上的官长阵亡了几个？今天退，明天退，退到西藏敌人也会跟踪而追。现在是军人报国的时机，我们要对得起国家，对得起民族，对得起已死的弟兄。
希望你苦撑几天，以待援军，免得你我成为国家的罪人！现在只准前进，不准后退！阵地就是我们的坟地，后退者死！”
官兵们咬牙坚持，在长寿店南北之线与敌麈战。张自忠适时将总预备队第八十四军投入战斗，基本稳定了战线。此后应援右翼兵团的第七十五军和第五十五师于1940年1月初到达前线。2月14日，张自忠下令反攻，日军抵挡不住，向东南溃退，我军跟踪追杀，斩获甚众。
而此时，张自忠又亲自带着弟兄们出现在了正面战场之上！
距离重庆不过五百公里的宜昌，对于日军的战略价值是不可估量的。日军占领了这里，就直接威胁到中国的陪都。这里是中国第五战区的防区，1940年3月，李宗仁获悉：接任冈村宁次职务的园部和一郎中将，将率领包括日本第十一军在内的部队，对宜昌大举进攻。
日军的这次进攻，是从枣阳地区开始的。
他们企图以中间突破、两翼迂回的战术，将第五战区主力围歼在白河东南。这种战沭，他们在一年以前的随枣会战中就用过。
防守枣阳的第三十三集团军总司令张自忠，命令正面部队死守，火速派出两个师迂回到敌后，与正面部队夹击包抄日军。他自己率领两个团渡过襄河向日军猛攻，粉碎了日军围歼他这个集团军的企图。
5月8日，日军占领了枣阳，但围歼守军主力的企图落空。
两天后，蒋介石要求李宗仁严令张�