他，于是通过县令，派衙役拘捕吴佩孚到案，幸亏衙门里有朋友，密告于吴，于是他星夜逃往北京。
在北京吴投靠一个亲戚以算命占卦糊口，潦倒不堪，不料一天遇见一位堂兄，劝说他从军，并将吴介绍到天津聂士成那里去当兵，吴佩孚终于走上了一条从军的道路。
一天，吴佩孚正带兵在火车站值勤，蓦然映入他眼帘的正是当年那位在蓬莱县叱责他，并打过架的生死冤家翁钦生。原来翁在全国多处开设分店，长春也是他众多商号中的一支。每年年底翁钦生都要来长春料理一下店务，多则一个月，少则半个月，便乘火车南下回山东。翁钦生眼见自己这位老乡身着戎装，肩挎盒子炮，吓得浑身颤栗，暗叹真是冤家路窄。心想三十六计，走为上计，于是脚底抹油，挤入人群想蒙混过关。
吴佩孚是何等的眼明，高声大呼：“钦生，哪里去了？”翁钦生听到吴佩孚的叫唤，不啻是催命的鬼符，吓得脸色灰白，心都要跳到嗓子眼，全身哆嗦，一句话也回答不出来。但抬头一看吴佩孚和颜悦色，并没有想要和他寻衅报仇的模样，才期期艾艾地说出自己是要买火车票回老家山东蓬莱。
吴佩孚竭力劝他不要走，翁虽然执意不从，却不由自主地被士兵拉到吴军营里去。正当钦生下决心听凭吴佩孚随意摆布的当口，吴佩孚却命令伙房安排酒宴，好酒好肉的招待翁钦生，并和他嘘寒问暖的讲起蓬莱的往事来。非但不把他看作仇人，还亲热得像同胞兄弟。一连留他住了好几天，最后还替翁买了车票，备了厚礼，亲自执手将他送上了火车。
有人曾问吴佩孚为什么要仇将恩报，他笑着说：“如果没有翁钦生在家乡时对我迫害，就不会逃亡出来当兵，这一辈子也只能在蓬莱当个穷秀才，落拓一生，更不会有今天出头的日子。所以，正是他的压迫才成全了我。因此我就不能再把他当作仇人了。”
之后，吴经人介绍到天津武卫军中去当管带的勤务兵，正式开始了行伍生涯。后报考开平武备学堂，辍学后到陆军警察队充任正目（班长）。升任初等官（相当于排长），先后被授予准尉、少尉、中尉衔。1903年报考保定陆军速成学堂测绘科，学业一年，1904年毕业后被分配到北洋督练公所参谋处工作。于是被差遣去烟台芝罘日本守田利远军事谍报机构从事谍报工作。主要负责收集俄国在中国东北驻军的军事情报。月饷50元大洋，除去吃喝开支和寄回家中以外还有不少积蓄。加上其他津贴，半年多时间吴佩孚便积蓄到300元大洋。
日俄战争期间，清政府暗中协助日方作战。于是，在北洋督练公所参谋处任职的吴佩孚，奉命为日本人搜集俄军情报。一次，吴佩孚携带重要资料到新民屯开会，他从锦州登车前往。沿途非俄军战领地，比较安全，快抵达新民屯时，大队俄军突然出现，截住火车搜查。吴佩孚在劫难逃，有手提的情报资料为证，他被俄军以“大间谍”之名，抓到沈阳俄军总部。俄军严加审讯，吴佩孚一口咬定，自己刚从军校毕业，正在搜集资料，私下进行日俄战争研究，并对日俄战争发表看法。审讯没有结果，俄军司令大为光火，大笔一挥，判吴死刑。将要执行之际，哈尔滨俄军情报单位又要提审吴佩孚，吴于是由两个俄军士兵押解，乘火车转往哈尔滨。说出来可笑，俄军方居然按俄军上尉出差待遇，给吴20卢布旅费。途中，吴佩孚冷眼旁观两个俄军士兵，发现他们烟瘾极大，又非常吝惜，便灵机一动，在新台子车站，用10卢布买了一大堆香烟。他并不抽烟，也不请两个俄军士兵抽。火车途经乱石山时，因爬坡而减速，吴佩孚作手势，要上厕所。两个俄军士兵一心惦记那堆香烟，谁也不愿奉陪，挥手叫吴自己去。吴心中暗喜，从容地走过车厢，回头望去，只见两俄国兵背对着他，头顶上冒出团团烟雾，正在拿他的香烟大过烟瘾，吴走到车门口，拉开车门，看准一片草地，纵身跳下，接连几个翻滚，站起来，毫发无伤，再抬眼一看，火车已经呼啸而去。由于这一带流通俄国货币，吴佩孚用余下的10卢布，沿途买东西吃喝，安全抵达新民屯。
这次他立了功，因敢作敢为而被北洋军阀头子曹锟看上，两年后当上了管带（营长）。此后积极投身军阀混战并大有“斩获”，很快晋升为团、旅、师长，不几年就拥兵数十万，被封为“孚威上将军”，盘踞于洛阳，控制河北、河南、山东、湖北、湖南等省，还遥控北京的曹锟政府，成了实力最强的军阀。由于他会写诗、绘画，字也写得颇好，因此有“儒将”之誉，他也常以此自豪。
可是这位“儒将”却缺乏儒家所宣扬的“仁”道，他为了实现个人野心，不惜“龙泉剑斩血汪洋”，对其他军阀毫不手软，对芸芸众生的命运更不屑一顾。1921年与湘军打仗时竟下令掘开蕭州的长江大堤，致使许多无辜百姓葬身鱼腹；1923年2月，京汉铁路工人为了争取自由、人权举行大罢工，他残酷地镇压，制造了著名的“二七大惨案”，为自己的历史写下了最黑的一页。
他50寿庆之时，正是权势鼎盛之日，各地的军政要人和文化名人、各国驻华使馆的武官云集洛阳，清废帝溥仪也派出其“摄政王”前来祝贺。连曾名震朝野的维新派首领、著名学者康有为也大拍马屁，献寿联云：“牧野鹰扬，百岁功勋才一半；洛阳虎视，八方风雨会中州。”不但表现了这个“大帅”叱咤风云的气概，还吹捧他更壮观的未来。
但是这只“鹰”、“虎”的前景并不美妙。此人虽然精明、狠辣，然而因逆时代潮流而动，终于一败涂地。
1926年6月张作霖与吴佩孚在北京会谈“合作”。为进攻已占据直隶的国民军，张作霖与吴佩孚弃嫌修好，签订反冯盟约。
之后，国民革命军大举北伐，他纠集主力扼守湖北咸宁的汀泗桥并上阵督战，亲手枪杀了几名后退的官兵，然而也抵挡不住革命洪流。两个月后北伐军攻克武昌，他大势已去，可是不像其他下台的军阀政客那样，腰缠万贯出洋“考察”或跑到租界去寻求外国人保护，而是在国内辗转流亡。
第二年，他率卫队逃去四川经河南邓县构林关时，受到当地头面人物的热情款待。面对满桌酒肉，他却说：“免了吧，战火连绵，百姓不得温饱，我们还要这么多菜干什么？”只留下四个小菜，其余全叫人撤下。他定于第二天清早开拔，可是地方绅士纷纷前来求字求诗，他雅兴大发，欣然应允，撰写了多首（副）诗联。在赠给乡绅杨星如的诗中，有“天落泪时人落泪，哭声高处歌声高。世人漫道民生苦，苦害生民是尔曹”之句，流露出了悲天悯人的情怀，还不客气地谴责了地主豪绅们的罪恶，令人刮目相看。弄文舞墨的“雅兴”救了他一命。当天上午，先头部队中了悍匪索金娃的埋伏而狼狈不堪，连秘书长张煌言也被乱枪击毙了，他却因推迟出发而安然无恙。
随后，他流寓于四川的奉节、大足、达县等地，卫队、随员星散，靠依附当地军阀为活。在成都参观昭觉寺时，他特地穿上袈裟拍照，还赋诗二首。第一首是：
英雄不避杀身凶，何况空门老梵宫。
偏有情丝难遽断，双行血泪洒秋风。
“空门”和“梵宫”都指佛寺。诗意是：我向来将生死置之度外，又岂怕在寺院里终老？但因“情丝”（对世事的千丝万缕关系）难以砍断，所以不能皈依佛门。此时他仍以“英雄”自命，却自知不能东山再起，于是只好“两行血泪洒秋风”，散发出“末路”的凄凉。
第二首的内容比较简单，只是说自己虽然不当和尚，但“此后深山同佛”，表明不再过问世事，意思是要有关人士放心。
吴佩孚一生极重信义廉耻，因为承诺不仰仗外国势力，所以先后艰拒了苏联、英美、日本等政府和银行主动伸出的橄榄枝，这和他日后的落寞有着必然的联系。
第一次直皖战争后，吴佩孚虽远避豫西，但却又让人不得不仰其鼻息，北京政府大到国策小至人事安排，无不频繁请教于他。这当然就引起了处心积虑欲操纵中国的苏联人的注意，中国共产党人曾奉“远方”（中共对苏联政府和共产国际的隐秘代称）之命与吴佩孚联络——李大钊就曾充任过使者。
原来，苏联人在决定帮助孙中山和中国国民党之前，最先看好的竟是“反动军阀”吴佩孚！越飞，这个被苏联政府派来中国的特使，因后来与孙中山联名发表会谈纪要而名扬中国现代史，孰料早在他前往广州游说孙中山之前，就在北京给洛阳的吴佩孚写过一封信。且看1922年8月19日越飞致吴佩孚的密函：
……我们都怀着特别关注和同情的心情注视着您，您善于将哲学家的深思熟虑和老练果敢的政治家以及天才的军事战略家的智慧集于一身……
世界上没有无缘无故的爱，苏联人往死里捧了老吴这一通，究竟要干什么呢？越飞继续写道：一、“为了便于修复两国睦邻关系”，让并不在政府任职的实权人物吴佩孚同意他们在中国的领土上同日本人谈判——在满洲有驻军的日本人一直是苏联人的后院隐患；二、让吴接受苏联红军进占中国的附属国外蒙古的现实。
待越飞的军事顾问、苏联总参谋部学院院长格克尔将军自洛阳返回北京后，越飞立即给国内拍发了“绝密”级的电报：
（格克尔）从吴佩孚那里回来了，说从未见过这样完美的军事秩序：秩序和纪律极其严整，操练和训练比赞许的还要好……
可见，正是吴军的强大实力使苏联人以为找准了在华的代理人。然而，民族气节极重的吴佩孚拒绝了苏联人的游说。
即使到了民国14年（1925年），苏联人依然没放弃利用吴佩孚的愿望。
其时，用苏联的枪炮与奉系开战的冯玉祥的国民军已经失利，冯本人不得不宣布下野并自我放洋，他的部下通电表示“迎吴讨奉”，而吴佩孚正雄心勃勃地出任“十四省