会的迫害，“天主教徒不能只是逆来顺受”，他还指出，在目前的情况下，“袖手旁观肯定是罪孽深重的”。三个月以后，在富尔达起草、并在德国所有天主教教堂中宣读的一封联合教书回顾了近几个月内教会所面临的严重障碍（征用修道院，关闭学校，压制主教教区的刊物等等），并且指出，排除这些障碍应是教会和国家之间真诚合作的必要条件。
由于这封教书是在对俄国发动进攻仅仅四天后发表的，我们可以把它看作是面对着布尔什维克这一共同危险时，主教们提出的和解建议（拿福音派宗教事务会议来说，它正准备打电报给希特勒向他提出保证，福音派全体教徒在这场反苏斗争中一定忠诚合作）。可是，纳粹党人对于以思想意识方面的妥协为代价去换取国家团结并不感觉兴趣。1941年6月6日，博尔曼向全体行政长官发出了一个秘密通报，强调基督教与国家社会主义是不能共存的，并且坚持“凡是会限制或者妨碍元首在国家社会主义工人党的协助下所行使的对人民的领导权（Volksfuhrung）的种种势力”，例如教会，“必须全部消灭”。在这方面，对于宗教信仰无需加以区别，因为新教徒同天主教徒“一样抱着敌意”。因此，所谓“反对布尔什维主义的十字军”非但没有成为宗教和平的信号，反而标志着一场全面的宗教战争的开端。以前授予天主教会的特权——例如，为波兰工人（德国统治下人数最多的非日耳曼天主教团体）举行礼拜的权利——立即被撤销，而富尔达会议主席贝尔特拉姆红衣主教为这件事一再提出的抗议，却被故意置诸不理。甚至主教们联名写给希特勒的一封抗议书——指责德国政府违反了同罗马教皇签订的宗教契约——也被置诸脑后。因此，主教们决定通过教书和讲道方式使德国人民注意他们所提出的抗议。
有一时期，主教们对纳粹的种族仇恨学说，以及故意使青年人堕落和杀害病人及精神病人的做法，一直进行尖锐的批评。现在，他们开始对纳粹党非宗教性方面的政策——象干涉法官的独立性问题和人种试验问题（例如，用“科学育人法以繁殖一国人民”的人种试验）——也进行抨击，人种试验问题在1942年的富尔达会议上受到特别强烈的谴责。他们还开始对德国在这场战争中的正义问题公开表示怀疑，指出（在1943年8月19日富尔达的联名教书中）凡是违背基督教信条的纯世俗思想，都已经暴露出来是错误的道路，已经以痛苦失望而告终，他们还谴责那些“单把自己的国家和人种奉为特殊神明”的人。最后，在1944年发表的许多篇四旬斋教书中，他们公开提出疑问：在道义上纳粹党是否有权充作反对布尔什维主义的基督教文明的卫士？他们描绘了战争所带来的种种恐怖行为，认为这些全是人类激怒了上帝后的直接报应，同时对那些指望“单靠政治和经济措施去征服布尔什维主义”的人提出警告：“布尔什维主义固有的邪恶只能用基督精神的内部力量去战胜”；他们还向德国人民发出呼吁，要他们提防那些已经使“他们的灵魂受到凌辱和兽化”，并使他们“非但没有战胜，反而”沦落“到马克思唯物主义水准”的人，不要让这些人把他们“引入歧途”。
在1939年11月那次密谋失败以后，政治和军事方面的反对派蛰伏了一个时期，这时又活跃起来，尽管到这时为止他们并没有取得任何显著的成绩。因为虽然在斯大林格勒会战期间，有人在保卢斯的帮助或默许下曾企图组织一次起义，但是直到这时所发生的两件最值得注意的反抗事件都是同反纳粹的主要团体没有关系的人搞的。一件是1939年11月9日共产党在慕尼黑市啤酒厂置放炸弹的事件，另一件是1943年2月19日汉斯·朔尔和索菲·朔尔在同一城市内散发传单的事件。还有，1943年3月13日法比安·冯·施拉布伦多夫想炸毁希特勒座机的尝试，结果没有成功，虽然侥幸并没有被人发觉。此外，在1943年1月卡萨布兰卡会议以后，盟国坚持要德国“无条件投降”，这一点在一定程度上也使反对派意气沮丧（反对派的成员后来这样说）。反对派又分成各个小派系，这种派系反映了成员们所属的集团或阶级的职业或社会观点，或是反映了他们所赞助的主义或政党。
在军队方面，有一个反纳粹将领的小核心组织，由贝克（前参谋总长）、维茨勒本（他于1942年担任西线总司令时退役）、赫普纳（东线的一名将领，1942年由于违背希特勒的命令擅自撤退而遭到军事法庭的审判）和奥斯特（谍报局中央情报处主任）所领导。自从1939年11月的那次密谋失败以后，这些人一直在等待一个采取行动的机会。在战争期间参加进来的人还有：弗里德里希·奥尔布里希特将军（国民军团司令），冯·哈泽中将（1940年后任柏林驻军司令），冯·特雷施科夫将军（东线冯·克鲁格的随从参谋之一）和林德曼将军（隶属于陆军最高统帅部的一名炮兵军官）。通过奥斯特的关系，同他们密切地联系在一起的是所谓“卡纳里斯集团”（海军上将威廉·卡纳里斯是谍报局的首长）。这个集团几乎完全是由陆军反谍报机构的军官和文职官员组成的。它作出了极有价值的贡献，为反对派的活动提供了“掩护”。虽然它提供了一些很有能力的组织者，如奥斯特、拉豪森将军和汉森上校，但它的领袖卡纳里斯的高尚品格和反对暴力的主张，却使它成了希姆莱的一个易于袭击的目标。希姆莱于1943年下半年突然袭击了这个集团，先将奥斯特撤职，后来又将卡纳里斯撤职，并且逮捕了他们的许多助手。在贝克集团和卡纳里斯集团的外围，还有一个将领们的小集团，代表人物先是冯·克鲁格，最终是隆美尔，他们看到有必要去掉希特勒，但是要他们无条件地支持起义的计划则又犹豫不决。
同反对派有牵连的文官中，有的是纳粹政权早期的官员，还有几个是仍在任职的官员。他们的领袖卡尔·格德勒博士从1930年到1936年间曾在布吕宁手下任全国物价管制委员会主任，后来又任莱比锡市长。沙赫特在1938年前是德国经济部长，1939年前是德国银行总裁，1943年1月以前则是不管部长。波皮茨仍然是普鲁士的财政部长。吉泽维乌斯先在盖世太保后在谍报局里工作。党卫队将领内贝是刑事警察的头子，他成了反对希特勒的秘密计划中最出力的人物之一。沃尔夫·冯·黑尔多夫伯爵是柏林警察总监。这个集团中的其他重要成员——乌尔里希·冯·哈塞尔、弗里德里希·维尔纳·冯·德·舒伦堡伯爵、奥托·基普、汉斯·贝尔恩特·冯·黑夫滕、亚当·冯·特罗特·楚·佐尔茨和埃里希·科尔特与特奥·科尔特弟兄等——过去都是在外交界服务的。
这个退职官员的集团大部分（绝对不是全部）是同实业家、大企业和旧贵族有密切关系的保守主义者。比这个集团组织得更为严密的是社会民主党人以及某些社会民主党人也参加的所谓“克莱骚集团”。社会民主党人的领导人是：古斯塔夫·达伦多夫、尤利乌斯·勒伯尔（1944年他受审时，法赖斯勒把他说成“德国工人阶级运动中的列宁”）、威廉·洛伊施纳（前工会领袖和黑森的内政部长，同天主教工会领袖雅各布·凯泽有密切关系）、卡洛·米伦多夫（年轻的社会民主党人之一）和特奥多尔·豪巴赫（德国国旗的设计人）。“克莱骚集团”的中心人物是赫尔莫特·冯·毛奇伯爵，他是俾斯麦手下那位陆军元帅的侄孙，是谍报局国外科的国际法专家。该集团就是以他在西里西亚的庄园命名的。“克莱骚集团”的成员包括彼得·约克·冯·瓦滕堡（施陶芬贝格的表兄）、欧根·格斯登美尔（路德教会的领袖）、阿道夫·赖希斯魏因（社会民主党人）、特罗特·楚·佐尔茨和一些自由职业者、文官以及纳粹执政前各工会的代表。
尽管克莱骚集团一般是反对暴力的（因为他们对于促进精神新生比较感觉兴趣），它却作了不少工作去保持反抗运动的精神动力。更重要的是，由于这个集团多少有点倾向于社会主义，它在右派与左派之间起了桥梁作用，从而促使密谋分子思想上的分歧调和起来。可是，密谋分子之间的有些思想分歧和不少个人之间的意气，仍然直到最后都没有得到解决。举例来说，贝克不喜欢波皮茨，波皮茨在社会民主党人中也不受欢迎，而且（似乎）与格德勒也经常意见相左。社会民主党人泽韦林显然不愿意参加有沙赫特在内的任何政府。那个终于把炸弹放到希特勒脚下的施陶芬贝格，急于想同莫斯科恢复友好关系。他在政治方面完全不赞同贝克和格德勒的主张，甚至计划委派一些“军事行政官”同格德勒的内阁共掌大权。然而，尽管他们之间的分歧根深蒂固，格德勒在1944年夏天却能够使不同意见的派系接受一项共同纲领，并说服他们商定未来德国内阁的班子。按照那时格德勒所拟定的内阁阁员名单，贝克将成为“国家元首”，格德勒本人将出任总理，社会民主党人洛伊施纳将担任副总理。外交部长将由冯·德·舒伦堡或者哈塞尔担任（这取决于最初的和平谈判是同东方还是同西方举行），内政部将由社会民主党人勒伯尔负责，司法部将由天主教徒维默尔主持。维茨勒本将担任武装部队总司令，赫普纳则将出任陆军司令。
到1943年底，格德勒已经把密谋集团的政府所奉行的纲领拟订就绪。它强调了新政府祈求和平的愿望。这个纲领还提出要彻底抵制极权主义，要建立一个以西方基督教传统为基础的国家。如同可以预料的那样，向社会主义者的要求作出了让步：主张把公用事业和重工业收归国有。可是这个纲领对共产党人却没有什么吸引力，虽然赖希斯魏因在最后一分钟曾经力图使共产党中央委员会也参加到这项秘密计划中来。由于