泽东后来说他是因为害怕）。这时，他辞去了共产党总书记的职务，但仍在武汉逗留了一段时间。其他一些共产党的高层领导人或出走江西，因为那里的军事领导人同情共产党，或躲进汉口的外国租界。
为了躲避冯玉祥将要发动的清共运动，邓小平于6月份离开西安来到武汉，他先到长江南岸的武昌，向周恩来领导的共产党军事委员会报到。但很快他又受命到北岸的汉口陈独秀主持的党中央担任中央委员会的秘书，这是他第一次在党中央工作。
出于工作之便，邓得以有机会看到了中国国民党和苏联合作的寿终正寝。鲍罗廷带着失职的沮丧于7月7日离开了汉口。他和他的俄国同事们乘坐的火车装满了行李，另外火车上还载有卡车和载重旅行车，这是准备穿越戈壁沙漠时用的。就斯大林的个性来讲，鲍罗廷在中国的失败本应受到谴责和惩罚。然而他当时并未受到排挤，只是被凋任到次要的职位上，并平安地度过了30年代。最后给他带来灾难的不是中国的使命，而是反犹太运动。1949年他和许多犹太血统的党员一起被捕。1951年死在一所监狱里，享年近七十岁。
大约就是在这一时期，邓改用邓小平这一名字，这一定是出于安全的考虑。一旦被捕，他可以在审讯时使用化名，不至于被查出真实身分。有很多著名的共产党人都曾在不同阶段使用不同的化名。对王明、博古等回国留学生来说，采用化名则是因为布尔什维克有使用假名的习惯，而其他许多人，像周恩来，他们使用化名都是出于地下工作者的安全考虑。而邓小平在选择化名时与众不同，这个名字并不十分隐蔽，保留了原姓，而且在以后不再必要时，仍一直继续使用。
8月7日，中央委员会在汉口召开紧急会议。会议选举了新的临时政治局，并通过四个文件，但未选出新的总书记。共产国际代表贝索·罗米那兹在其中的一份文件中谴责了前任党的领导的“机会主义”；其它三份文件号召全党推翻在南京和武汉的国民政府，组织武装起义，建立地方和省的苏维埃政府。但出于策略上的考虑，起义仍将打着国民党左派的旗帜。邓小平以党中央秘书的身份参加了会议，从而亲身经历了共产党从惨败转向全新战略的过程。
共产党人是在完全没有把握的情况下开始实行新的战略的。整个夏天，斯大林和共产国际都在强迫共产尝维持与国民党左派合作，现在他们又要求共产党加快取得革命胜利，而这恰恰是共产党所不可能达到的。在城市，共产党的工会领导人不是牺牲就是转入地下。在农村，农民的武装斗争在许多积极分子遭屠杀后转入低潮。在军队里，共产党人及其同情者倒是拥有一些军团，并且在其他武装力量的政治部门有很强的势力，但他们都是以国民党军官的身份执行任务的。另外，陈独秀下台后，一些毫无军事经验的人掌握了领导权。政治局的代理书记翟秋白是作家，而其他十名委员中无一名军人（作为中央候补委员的毛泽东，倒是穿过军装，那是1912年在一个湖南军阀的军队当兵，但从没有当过军官）。
在八七会议召开之前，已经举行过一次起义。这次起义是江西首府南昌附近驻扎的两个兵团发动的。起义者占领了南昌，并建立起第一支由共产党直接领导的拥有一万五干人的军队。但胜利并没有维持多久。这支新建的队伍在向广州以东海岸的长征途中，士兵不断逃跑，还有一名师长率部叛变，致使兵力锐减，最终被国民党军队打散，弄到无法整编的地步。起义部队的大部分领导人逃往香港或上海。领导整个起义的周恩来，抵达香港时身患重病，在九龙住了很长一段时间医院。后来的红军总司令末德，留下来继续带领他的部队，最后率领着仅存的六百人于1928年4月与毛泽东在井冈山根据地汇合。
随后的秋收起义也失败了，在湖北，拼凑起来的农民军队很快就被原以为是盟友的国民自卫队解除了武装。毛泽东是湖南农民起义的组织者，他率领着由起义士兵、矿工、农民和士匪组成的四个“团”。他接到的命令是攻占长沙，经过了一番苦战，他手下的两个团之间还发生了内讧。毛泽东认为自己手下的这支军队根本无法完成任务。于是，毛泽东在远离长沙的一个小镇集合起剩余的兵力，劝说其中的大部分人跟他上了井冈山。井冈山位于湖南、江西两省交界处，地理位置偏僻，地势险峻，自古以来土匪出没。当时有两伙土匪占领着井冈山，毛泽东说服了他们的首领与他结成同盟并驻扎下来，在这个中国南方最易守难攻的峭壁密林深处，度过了一个极其艰苦但相对安全的冬天。
当年的第三次起义12月份在广州爆发，也以惨败告终。起义者计划利用共产党领导的当地军队和武装工人占领城市，建立苏维埃市政府（公社），开辟一个长久的红色区域。但经过几天激战，结果共产党组织被彻底摧毁。几位全国著名的领导人牺牲，数以千计的工人遭屠戮，其中许多人手无寸铁。斯大林认为，广州起义还有另一笔损失：国民党军队在街上打死了几名俄国人并袭击了苏朕领事馆。斯大林竭力将派往中国的共产国际顾问和苏联外交官区别开来，但广州惨案表明国民党的军官并没有对他们加以区别。自此，苏联与中国国民党之间的合作，在这个孙中山和鲍罗廷曾为之牵线搭桥的城市，划上了一个蘸满鲜血的句号。
那年秋天，瞿秋白决定将共产党中央迁回上海。仍然担任党中央秘书的邓小平于9月底或10月初到了上海。和他一起去的是李维汉。李与邓早在法国时就已相识，当时李刚被提开到政治局工作。现在，邓小平转了一圈之后，又回到了阔别七年的上海。
邓小平到上海不久就被任命为中央秘书长，负责处里中央机关的文书、机要、交通、财务等工作②。在平常时期，这类工作原本就很繁琐，在当时的工作环境下就更繁重了。共产党在当时是非法组织，其党员随时都有被捕的危险。国民党的军队和警察逮捕到嫌疑犯后，会使用一切手段逼供，一个人若是叛变了，会牵连到许多人。在共产党人要积极重建党的影响的产业界，很多劳工组织都属于青帮或其他反共黑社会组织，到处都有密探。公共租界的巡捕、法国租界的警察和国民党的警察一样仇视共产主义和共产党人。他们经常主动搜捕共产党人，然后再把抓到的嫌疑犯引渡给国民党警察。
共产党的中央机关及其下属部门在上海分布很广。中央委员会的大多数部门集中在上海市中心；江苏省委机关设在闸北和虹口的工业区内；青年团的部分单位则设在法租界。周恩来当时负责中央机关的安全工作，他规定，政治局开会时，政治局委员不必全到，要有一至二人留外，以防警察局一旦突袭时不致于全体被捕。政治局会议常常在公共场所比如医院内的安全地点召开。据周恩来的传记记载，邓小平经常前往市中心威海卫路的一家医院开会。1929年8月，大约就是在邓小平离开上每去西南的同一时间，两名政治局委员被出卖后遭到逮捕和杀害。总的来讲，在邓小平做地下工作的两年之中，中共中央在上海的安全工作一直做得很出色。
在1928年或1929年年初的某一时间，邓小平结婚了。他的妻子张锡瑗是一名共产党员，曾经在江西、福建交界的山区某个小根据地任过职。邓小平是什么时候、怎么为她相识的不得而知，很有可能是在她奉命到上海送信时两人相遇的。
不管邓小平和张锡瑗是在什么情形之下结婚的，他们的婚姻只持续了很短的一段时间便悲剧性地结束了。张锡援死于难产。关于她去世的时间有不同的说法，但有一点是一致的，即当时邓小平不在上海。有关他在1928年和1929年间活动的记录很少。但作为中央的一名重要官员，他不可能经常离开上海。因此，合理的结论是，张锡援去世时，邓小平已离开了上海、凋任新的工作了。邓小平对自己的私生活一直保持沉默，他从不对外人谈他的感情，在他的官方传记里甚至没有提及到这次婚姻。
对共产党人来说，1928年主要的政治事件是召开了第六届党代表大会。由于在中国境内没有一个安全的地方允许几十名中共代表集中在一起，该次会议选在莫斯科郊外的一所旧式庄园举行。中国共产党的大多数政治局委员参加了这次会议。但李维汉留在上海没有参加，邓小平也和他一起留在上海。大会上布哈林作为共产国际常务委员会的主席出尽风头。布哈林曾与斯大林一起批判托洛斯基的对华政策，但不久就因其“右倾”，和“富农路线”受到攻击。他性情怪异，有时身穿猎装出现在主席台上，甚至手腕上还站着一只猎鹰。在他的主持下，大会通过的决议与2月份共产国际会议的决议口径一致。
经过整个6月份的争论，大会总结认为，中国革命尚处于“资产阶级民主革命”阶段（不属于社会主义革命），全国的形势处于两次“革命高潮”之间。大会谴责了“机会主义”（即所谓陈独秀执行的路线。陈未到会），但同时也谴责了“盲动主义”（即由瞿秋白下令发动的那种盲目的军事行动）。大会通过了十大纲领，其中的三大任务是推翻“国民党军阀政府”，没收地主阶级的一切土地，“联合世界无产阶级和苏联”。十六年以后，当毛泽东自己（此处有误。毛泽东是在1939年和1940年对中国革命的性质做出完整的总结的。——译注）总结出一口整套关于中国革命性质的理论时，肯定了这一纲领的正确性，但应该强调革命的持久性和“农村根据地的重要性”。
1929年中，邓小平的工作出现了新的转变。政治局免去了他中央委员会秘书长的职务，派他到广西执行一项