那为什么愿意出兵济南、阻止北伐军的日军竞要阴谋炸死张作霖呢？这是因为，日本军的一切行动，都是以侵吞东北为目标的。日本认为，在满蒙确保日本的既得权利的这方面上看来，张作霖要比郭松龄可靠得多；北京政府比国民党政府对日本更有利得多。所以日本要维护张作霖政权。可是当田中义一要实行他奏折上所计划的侵吞满蒙计划的时候，张作霖就直接变成它的障碍了。
日本田中义一上台后，向张作霖强索铁路权，逼张解决所谓“满蒙悬案”，从而激起了东北人民的反日怒潮。9月4日沈阳两万人示威游行，高呼“打倒田中内阁”。张作霖在全国反帝浪潮的冲击下，未能满足日本在“满蒙”筑路、开矿、设厂、租地、移民等全部要求，并有所抵制，这为日本内阁所恨。而且日本关东军断定东北人民的反日游行是由张作霖煽动所导致，对他恨之入骨。
当中还有许多曲折。1928年5月，北伐军直逼京津地区，日本帝国主义感到奉系军阀政权已经岌岌可危，但仍然想从奉系手中捞到最大限度的好处，于是一面支持张作霖，出兵山东对抗北伐军，一面又向张作霖施加压力，威逼张作霖及早退回东北，企图利用张作霖这个工具，使“满蒙”从中国本土肢解出去，置于日本势力之下。
北伐军逼近北京时，日本驻华公使威胁张作霖“将来奉军败兵如经山海关，日兵须将其缴械。”张作霖在答复中表示“东三省及京、津为中国领土，主权所在，不容漠视”，反对日本政府公然干涉中国内政。
日本政府借口北伐军节节胜利，发表声明说：“一旦战乱波及满洲，帝国政府为维护治安，将采取适当和有效的措施。”同时命令旅顺的关东军进驻奉天，另一方面还训令驻北京的芳泽公使，劝告张作霖撤回关外，巩固在“满洲”的地位。
张作霖对此未加理睬，并且在济南事件爆发时，还通过新闻记者声明，愿意南北合一，共防外侮。因为撤回关外就意味着完全沦为日本关东军的傀儡，在民族运动高潮面前张作霖是不甘心做卖国贼和傀儡的。
几经交涉，日本最后恐吓张作霖说：“如果不听劝告，同国民党军队继续冲突，失败后想退回满洲时，日本军队可能在山海关予以拦击。”在这种危机情况下，张作霖才决定撤出北京重返东北。
而此时，炸车阴谋已正式被日军提上日程。日本政府当时谋杀张作霖的计划基本上是“九？一八”事变的前奏，日本妄想制造满洲独立，然后进行吞并。1927年7月田中义一就代替民政党掌握了政权，在他执政的前后，他制定了有名的田中奏折，在这个奏折里阐明了以日本天皇为中心八纮一宇的精神，要征服全世界，必须先征服中国，要征服中国，必须先征服满蒙。皇姑屯炸车阴谋，就是田中义一执政后实行其征服世界的第一步。然而当时日本内阁的政策遭到元老重臣的反对，加之外受美国的压力，所以5月25日夜，田中义一断然决定停止一切行动，进驻奉天的关东军也不得不迅速恢复平时状态。但是军部特别是关东军并未完全符合内阁决定的精神，竟在6月4日将张作霖炸死。
经过种种研究，关东军认定惟有巨流河铁桥是最好的地点，特派工兵中队长详细侦察附近情况。由于奉军的警戒十分严密，关东军参谋河本大佐等人认为至少需要准备一个星期左右时间。最后，关东军选择了一个比较自由的地点，即南满线与京奉线交叉的皇姑屯附近的三洞桥。因为日本占领的南满铁路在桥上面，张作霖管辖的京奉铁路在桥下面，这便于日军自由行动，又有利警戒。他们准备了200磅强力黄色炸药，采取的手段有两种：一是袭击列车，但将留下明显证据；二是炸车，万一这一爆破计划归于失败，马上制订第二步骤，使列车颠覆，不失时机地乘着混乱，让大刀队闯入杀掉张作霖。河本大佐指使守备中队长东宫铁男大尉指挥，由福田、神田两个大尉负责勘定炸车地点，日军用卡车载来了两千多磅的强力黄色炸药，装置在三洞桥北侧的两个花岗岩石的桥墩上。埋伏好后，夜间日本哨兵严格把守，不允许任何人接近三洞桥。到了拂晓，日本哨兵陆续躲进兵营。
1928年6月3日晚6时，张作霖乘坐由奉天迫击炮厂厂长沙顿驾驶的在英国定做的黄色大型厚钢板防弹汽车，开往火车站。随行的人员有吴俊开、潘复、周大文、刘哲、莫德惠、于国翰、张作霖的六姨太和三儿子张学增、日籍顾问町野和仪我等人。张作霖专车共22节，张作霖乘坐的80号包车在中间，包车厢后是餐车，前边是两节蓝钢车，潘复、刘哲、莫德惠、于国翰等在两节蓝钢车中。专车前面还有一列压道车。
晚8时，专车从北京车站开出。4日清晨，日本驻奉天总领事林久治郎很早就起床，站在自己住的房屋顶上，用望远镜观察三洞桥。5点23分，当张作霖乘坐的专车钻进京奉铁路和南满铁路交叉处的三洞桥时，日本关东军东宫铁男大尉按下电钮，一声巨响，三洞桥中间的一座花岗岩石的桥墩被炸开，桥上的钢轨、桥梁被炸得弯弯曲曲，抛上天空、张作霖的专车被炸得只剩一个底盘。吴俊升被炸得血肉模糊，头顶穿入一个大铁钉，脑浆外溢，当即死亡；张作霖被炸出三丈多远，咽喉破裂；日籍顾问仪我满面是血，抱头大叫；校尉处长温守善被埋在碎木下面；周大文炸破了手；六姨太炸掉了脚趾头；莫德惠受了伤。
奉天省长刘尚清闻讯赶到现场。张作霖被救至沈阳“大帅府”时已奄奄一息。死前张对卢夫人说：“告诉小六子（张学良的乳名），以国家为重，好好地干吧！我这个臭皮囊不算什么，叫小六子快回沈阳。”
张作霖专列被炸后，东北政局立呈险兆。6月5日深夜，奉军兵车在锦州、榆关之间脱轨倾覆，京奉路一度中断。10日、12日，奉天城内接连发生投掷炸弹事件。政治流言四起，日本在东北复辟清廷之说甚嚣尘上。同时，关东军云集奉天，举行军事演习，高唱“南满是我们的家乡”。本来日本军部特别是关东军的阴谋打算，就是想乘东北军队大部分都在关内，张作霖以下的重要人物全在车上，一下子炸死这帮人。这样奉天必陷于混乱，关东军可以借口保护日侨和其特殊权益，而一举占领奉天，再组织傀儡政权。
然而日军的阴谋并没有得逞，为防止日军乘机举动，奉天当局决定对张作霖之死秘不发丧，发表通电称：主座“身受微伤，精神尚好”，“省城亦安谧如常”。大帅府邸依然灯火通明，“烟霞”阵阵。杜医官每日仍然按时到府上班，填写病案。厨房每日三餐仍旧按时送饭进去，家人一律不啼哭，不穿孝服。日方天天派人“慰问求见”，均被“婉言谢绝”。主持家政的五夫人浓妆艳抹，与前来窥探虚实的日本太太们从容周旋。这使得日本军警想寻衅都找不到借口，奉天当时并没有一点混乱现象。另一方面，他们对张作霖和吴俊升被炸的情形也保持了极严格的秘密。同时，奉天当局下令全城戒严以稳定局势，并要求日方严格管束浪人，以免扰乱社会治安。张学良潜回东北后被推举为东北保安总司令。6月11日，奉天省长刘尚清致电南京国民政府，表示愿服从南京政府，悬挂青天白日旗，希望勿对东三省用兵，史称东北易帜。
直到半个月之后，才正式发表张作霖治丧的消息，日本人一直得不到肯定的真相，所以不敢冒然行动。关东军武装侵略东北的阴谋没有得逞。
张作霖是一位具有浓厚神秘色彩的历史传奇人物。他由一介粗通文墨的草莽武夫，在风云际会中乘势而起，一跃成为地位显赫的中华民国陆海军大元帅。在那样的乱世，恐怕做胡匪是最好的选择吧——但张作霖这样的胡匪，不但不危害老百姓，而且把据点周围的治安都收拾得井井有条，这与一般胡匪的不同之处，是他成就霸业的第一步。
张作霖还懂得在适当的时候争取招安。实际上，他智勇双全，一个连写自己名字都困难的文盲，凭着骁勇善战和足智多谋，迅速爬升为东北王，并且有相当好的名声——当时的老百姓提起张作霖是一种敬畏，而不是厌恶——这本身就令人肃然起敬。
具体说张作霖做过什么反动的事情，首先让人联想到的就是杀害了进步人士——李大钊，我们学过的历史课文也是这么写的：李大钊被反动军警杀害了。这是张作霖作为一个军阀所作的坏事之一。但这也是由于他自身的局限性所决定的——张作霖生于清末，只受过短暂的私塾教育，对于社会的先锋潮流、学识知之甚少，所以对于张作霖来说，不能理解孙中山的三民主义是情有可原的。一个从大辫子时代走过来的文盲，是无法理解何谓三大政策的。要让当时的军阀来理解孙中山是不太现实的。
当时的军阀基本上都是反对宪政的，虽然在现在看来很多军阀是倚靠帝国主义国家作后盾，然而张作霖实际上并没做过丧权辱国的事情。在那样的国家现状中，要想彻底反抗所有外国势力是根本不可能的事情，而张作霖在这样的情况下，可以巧妙的同日本周旋，已经不容易了，他虽然利用了日本，但日本在他这里没有得到过什么实际的好处。张作霖从未同日本签订过一条丧权辱国的条约，相反，张作霖从第一次参军，就是为了打日本，直到后来拉柳子对抗俄国，再后来修筑铁路与日本竞争，一直到最后被日本暗杀，他一生时刻都清醒地抵抗着外国侵略者。
张作霖从北京退回东北的原因，大多被人们解释为“慑于东北人民的反日浪潮，对日本的侵略求未予全部承诺，而激怒日本军方”，虽然这是主要原因，但也不能排除他想及早回东北整顿军纪的原因。当时的奉军部队众多，军纪过于混乱，不断引起民愤，张作霖对于下面将领和部队的言行已经无心面面俱到的控制。同时，由于他反对宪政，反对三民主