多诺万也不是什么好惹的主儿，对胡佛的再三阻挠和牵制，多诺万也早就很恼怒。于是，他暗中派人，搞到了胡佛与他人搞同性恋的大量现场照片。后来中央情报局曾用这些照片敲诈胡佛。可想而知，胡佛气得暴跳如雷。
胡佛很不甘心，一直派人盯着多诺万的活动。1942年，多诺万的手下秘密潜入西班牙驻华盛顿大使馆，偷拍密码本。胡佛知道后大为光火，因为这该是他管的事。他一气之下，破坏了那次活动，而且把多诺万的密探抓走了。多诺万为这个和胡佛大吵了一架。罗斯福为了安抚这两个脾气暴躁而固执的家伙，做了一个分工：将欧洲和亚洲交给多诺万，联邦调查局则负责在南美洲的秘密活动。但是，这种分工并没能维持多久，两家在情报配合上一直不是很愉快。
1945年初，多诺万向罗斯福提交了一份秘密备忘录，建议在和平时期，建立一个统一的主管对外情报的机构，为避免与联邦调查局发生太大冲突，他在备忘录中特意注明：该机构在国内和国外都没有维护治安和执行法律的功能。不过这份备忘录还是走漏了风声，当时胡佛正在起草关于联邦调查局统一接管国外情报机构的计划，愤怒程度可想而知。同时，以他多年政场经验意识到，这回握住了对手的一大把柄。他决定好好利用。
胡佛派人搞到了秘密备忘录的内容，列出其中违背保密法规定的部分，并将这一内容泄露给了媒体。很快，这一消息就被披露，各种批评一涌而上，罗斯福恰在这时去世，多诺万心有余而力不足，战略情报局终于被杜鲁门宣布解散。
扳倒了老对手，胡佛很高兴，他继续策划在国外建立联邦调查局的秘密情报网络。不过，他没能高兴多久。1946年，杜鲁门改变主意，决定建立中央情报局，主管对外情报工作，
联邦调查局的工作则限制在国内。胡佛想让总统改变主意，他推出了一大堆陆军将领和两院议员去白宫当说客，可是杜鲁门坚决不让步。他命令联邦调查局立刻关闭在国外的办事处，只允许在少数城市（伦敦、巴黎、罗马、渥太华和墨西哥城）继续设办事处，而且那里的特工人员只能处理国内案件中的涉外部分，不准进行收集外国情报的活动。
胡佛对这一命令大为恼火，但又不敢不执行。在关闭国外的办事处前，他特别指示，所有办事处无论如何不得把任何文件和情报交给中央情报局。那些办事处的人只好偷偷地把档案移交给中央情报局。
中央情报局成立以后，它和联邦调查局成为美国情报系统中两个并驾齐驱的最重要的机构。前者负责国外的情报活动，开展特别行动。后者负责国内的安全和反谍报活动。它们没有隶属关系。中央情报局是一个独立的机构，直接向总统负责；联邦调查局则归司法部管辖。其实联邦调查局拥有的实际权力还是很大的，因为它有直接的执法权，但是胡佛不这么看，他固执地认为中央情报局夺走了本该属于联邦调查局的东西。
尽管没有授权，胡佛还是指示手下在墨西哥城等办事处搞活动，收集情报。这种做法完全超出了政府对联邦调查局职责范围的规定，大量工作与中央情报局重复，并且很多情报错误百出。连联邦调查局自己的人都怀疑这些耗费人力和财力的事情还有没有存在的必要。但是胡佛坚持，其他人也无话可说。
刚建立的中央情报局向联邦调查局提出一些经正式批准的要求，例如交接文件，提供某些可疑分子在国内的活动情况等。胡佛总是采取拖的办法，能不管就不管，或者只满足一半，剩下的就置之不理了。这样当然会招来中央情报局的不满。
这种事情发生了好几次后，中央情报局局长比德尔·史密斯将军生气了。他给胡佛写了一封措辞非常严厉的信，说道：
“无论你胡佛先生是否喜欢我，这都同我们负责的两个政府机构之间的合作毫无关系。你有义务在你的权限范围内同中央情报局全面合作。”
“如果你不这样做，如果你要在这个问题上坚持这样，那么我准备在整个华盛顿同你斗。”
遇上了强硬对手的胡佛反而退步了，他甚至让联邦调查局负责同中央情报局联络的人为他和史密斯安排一次午餐。
中央情报局和联邦调查局虽然互相看对方不顺眼，但在工作中还是需要配合的。因此，双方都设有专人负责与对方联络。在很多时候，双方关系与这个联络人密切相关。胡佛曾指派他的亲信德克·德洛奇担任这项工作，这对双方的关系实在是大有损害。
德洛奇不喜欢中央情报局，他明知胡佛对中央情报局的权力很嫉妒，还对胡佛暗示说，中央情报局打算把活动范围扩大到整个美国。这完全是火上浇油，胡佛愤怒得不得了，联邦调查局和中央情报局的隔阂也越来越大了。联邦调查局中有一些人看到了问题所在，可他们毫无办法。
胡佛一直没有放弃在国外开展情报活动的想法。1965年，当林登·约翰逊总统为多米尼加问题发愁的时候，胡佛获得了在那里开展活动的授权。后来他又说服尼克松总统，允许联邦调查局在海外多开设一些办事处，并保证“提供比中央情报局更好的情报”。
这样做引起了另外一起纠纷，因为胡佛要求把一切情报直接寄给他，而不是先送给大使、中央情报局或国务院审核。有一次在以色列的特工送来了一些错误情报，并被胡佛直接送给尼克松和基辛格，惹来一堆麻烦，国务院的人吵翻了天，中央情报局也非常不满。尼克松不得不指示胡佛，这些特工的情报寄回美国之前，必须先送大使和中央情报局审核。
联邦调查局与美国许多家小型报纸和周刊有秘密联系，那上面经常发表表扬联邦调查局的大作，有时也登载一些故事和文章批评胡佛想攻击的对象，中央情报局就在其中占很大分量。胡佛非常乐于把一些罪名推到他的死对头身上。
胡佛在晚年时期开始禁止联邦调查局使用“非法手段”调查，结果很快就遭到其他情报机构，尤其是中央情报局的抗议。联邦调查局本来就很少向其他部门提供情报，现在更是根本不提供了。这严重地损害了中央情报局的工作。因为在国内，它没有合法权利和特许状从事任何调查，必须需要联邦调查局的协助。
有一次，有两个已被察觉的苏联间谍在美国活动，中央情报局要求联邦调查局监视这两个人并窃听他们的电话。但是胡佛拒绝了，并且吼了起来：“我们又不是为中央情报局服务的！”他对手下的人说：“告诉他们，如果他们想监视这两个人，他可以自己干。”
而胡佛得到的回复是：“我不打算命令我的人在纽约城里搞监视活动。我们无权干这种事。所以，你们要是不搞，那就干不成了。”
中央情报局的人非常清楚，如果他们下令在纽约搞监视活动，胡佛会立刻告诉新闻界，他最乐意给别人设置这种圈套了。
胡佛不止和中央情报局一家闹矛盾。几乎华盛顿所有情报机构的主要领导人都和他吵过架。美国设有全国情报委员会，中央情报局局长任主席，负责协调全国13个军队和政府部门的主要情报机构，包括联邦调查局。但是“协调”只是一个虚名，他没有实际权力命令和调动联邦调查局。而胡佛在很多时候总不愿意与大家合作，他总认为自己是正确的，领导权不容干涉。
有一次，情报委员会主席赫尔姆斯要求各个机构成员把自己部门的印章牌带去，并且全都做成直径为12英寸的圆形，这样就可以把它们并排挂在会议室的墙上。萨利文作为联邦调查局的代表，负责这项工作。一个星期以后，在去情报委员会开会之前，他去局总部取印章牌。包装印章牌的硬纸盒的尺寸太大，他觉得有点不对劲，想要检查一下是否有差错。但是工作人员说这是经胡佛局长本人同意的印章牌，他只好用手拎着这个大包装盒上了汽车。来到会议室打开纸盒一看，他最担心的事情发生了：联邦调查局的印章牌直径足足有3英尺，几乎比其他机构的印章牌大三倍。挂在那里特别突兀。他感到十分难堪，却无可奈何。委员会的成员开始开玩笑，他们建议萨利文征得胡佛的同意，做一个比这块再大一倍的联邦调查局牌子，把它单独挂在会议室的一面墙上，把所有其他部门的牌子挂在对面墙上，这样一定会更对称。并且，大家一致认为，胡佛一定会同意这样做的。
中央情报局对胡佛也不客气。有一次中央情报局派一个特工在国内搞秘密行动，被联邦调查局逮住了。这牵涉一个很重要的案件，中央情报局要求胡佛网开一面，予以配合。结果自负的胡佛很干脆地拒绝了。这回胡佛彻底把中央情报局惹火了。于是他们派了一个人去面见胡佛，递给他一大叠照片，都是关于他搞同性恋的。胡佛当场气得“暴跳如雷”，“把照片扔得满地都是”，并“指着门咆哮着让他滚出去”。不过事情倒是解决了，那个特工很快就没事了。
胡佛在1972年去世，他在任时的每一个中央情报局局长几乎都和他吵过、斗过。但是，虽然双方一直看对方不顺眼，两个机构之间的基本合作还是一直保持着。即使在胡佛最厌恶中央情报局的那段时间，他的手下还是和中央情报局背着他开展了不少合作。
有一次，在一个至关重要的国家安全案件上，联邦调查局需要付给一个告密者大笔金额，但是胡佛削减了这一款项。赫尔姆斯知道了这件事情，于是从中央情报局经费中给了联邦调查局9000美元，双方合作，获得了急需的极其重要的情报。
胡佛去世之后，中央情报局和联邦调查局之间的情况有所改善，但竞争与矛盾在所难免。例如，在谁有资格审理苏联克格勃叛逃者的问题上，双方一直争论不休，即使有时能经过协�