前之所以要召回东乡，就是为了东乡建议要花这种代价的缘故。这时他本人也陷于同样尴尬的处境。他不能答应，于是，4月11日休会一天，他去列宁格勒访问，希望莫洛托夫经过深思熟虑后，或许会有所节制。但是，4月12日，他感到莫洛托夫仍然那样顽固。看来，谈判将告失败，因为松冈预定次日离开莫斯科，他决心宁可空手而归，却不能答应苏联的要求。可是，12日那天的晚些时候松冈去向斯大林辞行时，斯大林本人却又重新提起这个问题，同意不要求日本立即让出萨哈林岛煤和石油的开采特许权，而松冈则答应，将说服本国政府在几个月之后作这种让步。他还给莫洛托夫一个书面保证，表示他愿意这样做，在这样的谅解基础上，日苏中立条约于4月13日正式签字。签字仪式之后，还举行了香槟酒会，斯大林并亲自到车站给松冈送行。当时，斯大林对松冈说：“日本和俄国之间既然解决了问题，日本可以整顿远东了；俄国和德国将经营欧洲，然后，大家再联合起来对付美国。”
中立条约规定，日本和苏联应保持和平与友好关系，互相尊重领土完整。如果缔约一方同一个或几个第三国家交战，另一方保证在整个战争时期保待中立。该条约自签署日起生效，有效期为五年。还附有一份边界声明。声明说，苏联同意尊重满洲国领土的完整和不可侵犯，日本也就蒙古人民共和国问题对苏联作了类似的保证。
缔结中立条约实际上是苏联外交的一次胜利，也是松冈的一次挫败。斯大林已得到日本的保证，万一希特勒进攻苏联，日本当保持中立，而他自己仍可自由地继续给重庆以外交上的支持。鉴于德苏战争即将爆发，松冈根本就不需要考虑缔结日苏条约的问题。这样，当希特勒发动进攻时，松冈就可以或是站在德国一边进行干预去打击苏联，或是要求苏联政府割让萨哈林岛北部和抛弃重庆的中国国民政府，作为日本保持中立的代价。
战后，苏联检察官在东京法庭上指控，松冈曾企图欺骗苏联，说他要缔结这项条约的目的，是希望苏联政府相信这个条约，将其驻在远东的军队调往欧洲，抵御德国的侵略，然后，日本将趁机占领一无防备的苏联远东地区。苏联检察官又说，可是事实上苏联政府并没有疏忽大意而撤走其远东地区的驻军。
固然，在德苏战争爆发之后，松冈不顾日苏订有中立条约，确曾敦促日本政府去进攻苏联。但是，在签订该条约的时候，他的动机或许并不象后来苏联起诉时所断言的那样居心叵测。下面这一事实最能令人信服他说明他的行为。虽然他相信，在英国迟早被打败之后，德苏终将发生冲突，但是他认为，不会马上就发生这种冲突。他相信希特勒对他说的话：德国不会进攻苏联，除非苏联政府本身有联合英国的迹象而引起德国进攻；尽管俄德之间在巴尔干问题上存在着芥蒂，他认为，斯大林不会采取任何这类行动。他已看出，斯大林是敌视“盎格鲁撒克逊国家”的，亟欲避免冒犯希特勒。因此，当松冈不愿以接受苏联提出的无所不包的要求为代价来换取一个互不侵犯条约时，他就急切想签订一个中立条约。他之所以要这样做，一个原因是他不想双手空空返回东京，另一个原因是他知道，不会由于希特勒向他作了口头保证，说什么要是苏联进攻日本，他就进攻苏联，日本人的疑虑就会减少了。缔结日苏中立条约，在当时的确等于是获得了一种保证，当日本向南挺进时，在背后不致受到苏联的袭击。
松冈第二次逗留在莫斯科的时候，再度同美国大使斯坦哈特谈话，并告诉他说，德国人不会进攻苏联，除非苏联政府把提供德国的物资数量大大削减。在他看来，德国人故意散布进攻的谣言，其目的是为了吓唬俄国人，使他们继续提供物资。据木户在日记中记载，这是松冈的由衷之言。1941年6月6日，木户记道，近卫打电话给他说，大岛在伯希特斯加登见到了希特勒，并获悉德国已决定进攻苏联。听到这一消息后，近卫召开了一次联络会议进行讨论。会上，松冈宣称，不管大岛的报告怎么说，德苏之间和解的可能性占百分之六十，开战的可能性只占百分之四十。他坚持这种看法直到战争真正爆发为止。
日本政府在公布中立条约时虽然大吹大擂，但是它表里并不如一。在内阁中，松冈的同僚对他非常恼火，因为他未经授权竟作了保证，表示日本将放弃萨哈林岛的煤和石油的开采特许权。5月31日，建川通知苏联政府，日本将于六个月内交还这些特许权，但后来因德苏战争爆发，日本无须履行这一诺言。日本的报界和公众曾指望，继签订中立条约之后，苏联将不再承认重庆政府，并停止对重庆的援助。起先，中国政府感到惊慌，生怕这将成为事实。它对苏联政府默认满洲国一事也大为恼火。可是，不久情况就清楚了，苏联对重庆政府的政策将保持不变（如中国共产党从一开始就宣称的那样）。事实上，莫洛托夫于4月16日已经告诉过中国驻莫斯科大使，在苏日两国谈判过程中，没有讨论过中国问题，只要中国坚持抗日，苏联的政策将保持不变。
6月11日，签订了一个为期五年的苏日贸易协定，与此同时，还就德日贸易取道西伯利亚铁路问题达成协议。5月和6月间，满洲国和外蒙古的代表在赤塔会谈，恢复了一度中断了的苏联…满洲国在有争议的诺门坎地区划定边界的谈判。6月14日，双方达成了协议；27日起，在现场开始边界的实际勘定工作；8月17日，勘定工作结束，专员们草拟了一份包括勘定结果的议定书。10月15日，该议定书在哈尔滨签字，但是一直到1942年5月15日才被正式批准。
苏日关系方面的这些改善，本身是件可喜的事，但是，较之松冈使日本人对中立条约所抱的期望，特别是对结束中日战争所抱的期望，这些改善是微不足道的。因此，在他刚从欧洲回来的时候，他的声望虽然曾经扶摇直上，但是在随后几个月里，就遭到严重的打击。
6月22日，大岛发回电报，报告了德苏之间爆发战争的消息。这使日本政府突然面临危机。在这以前，近卫、平沼和木户已经商定一旦德苏爆发战争时他们将采取的政策，即在俄德战争中日本应保持中立，并为本身利益继续向南推进。木户已将这个决定启奏天皇。但是松冈却持不同的看法。5月6日，他对奥特说，“如果德苏之间发生战争，没有一个日本首相或外相能使日本保持中立。形势将迫使日本站在德国一边去进攻苏联，任何中立条约都不能改变这种情况。”于是，他这时就越过近卫去觐见天皇，极力主张日本除南进外，也应参加对苏进攻。在天皇接见松冈之后，木户也觐见了天皇，发现天皇惊恐不安。天皇将松冈所说的话告诉了木户。天皇本人认为，就日本的资源看，这一政策过头了，希望内阁或者甚至军方不要支持这种政策。木户将松冈所做的事马上告诉了近卫和平沼，接着，首相要求松冈对此作出解释。松冈说，他并没有主张立即对苏联采取行动，这种说法当然不能使近卫满意，两人之间的关系就此紧张起来。松冈尽管这样说，一面却继续策划，想要日本进行干预，进攻苏联。6月22日，他又一次向奥特保证说，日本将不会继续保持中立；24日，松冈在回答苏联大使斯麦塔宁的询问时说，日本的政策尚未确定，将主要取决于战争的责任由哪一方来负。他又说，三国公约仍然是日本外交政策的基础，如果日苏中立条约证明同三国公约不能并存的话，那么，这个中立条约将失效。
德国政府也在敦促东京进行干预，去进攻苏联。6月28日，里宾特洛甫通知奥特，大岛已经同意朝那个方向去影响他的政府，里宾特洛甫指示奥特作同样的努力。他要奥特这样说，由于日本似乎还没有准备好去进攻新加坡，这时还是先同德国一起去消灭苏联为好，以便以后腾出手来向南挺进。东京有权势的人士反对这种政策。前任首相平沼也强烈反对，并对松冈深怀敌意。据木户本人说，他也跟平沼一样，他说，他在6月23日曾向近卫指出，由于德国已经完全改变了同苏联改善关系的政策——这项政策曾经是促使日本参加三国公约的一个重要因素——近卫应该考虑废除那个公约。近卫显然表示同意，但是这一建议没有获得全体内阁的支持。另一方面，在6月23日至6月30日之间召开的六次联络会议上，显然多数意见是反对日本对苏联发动进攻。6月28日，东条对木户说，军方认为对德苏战争应当采取“沉着和慎重的”态度。同一天，奥特向里宾特洛甫报告说，近卫和大部分内阁阁员反对进行干预，因为这样做有可能危害日本在中国的军事地位。
6月30日的联络会议通过了一项决议，这项决议于7月2日由御前会议正式批准。日本决定执行向印度支那和暹罗进军的计划，甚至准备冒同英国和美国作战的危险。关于德苏战争，日本将正式通知苏联，日本将继续遵守日苏中立条约。实际上，德国如在战争中得手，则日本最后将进行干预，“以确保北方地区的安定”。7月2日，松冈口头通知斯麦塔宁，日本会尊重中立条约。次日，松冈向奥特保证说，这个声明只是为了欺骗俄国人，事实上，日本正在为进攻他们完成军事上的准备工作。可是，这并不能使里宾特洛甫满意；7月5日，他通知奥特提醒松冈他本人在5月6日所说的日本将站在德国一边进行干预。可是，松冈无能为力。他本人的地位这时岌岌可危，因为日本国内已经对他有反感，认为既然他缔结了中立条约把日本的双手束缚住，他就该引咎辞职。在日本，还出现了一种对德国愤愤不满的情绪，抱怨德国又一次使日本成为全世界的笑柄。同时又由于日军在偌门坎的倒霉