壬子年（即民国元年）4月16日，亦即1912年6月1日，胡乔木出生于江苏省盐都县鞍湖乡张本庄。
盐都县属盐城。盐城是江苏省的省辖市，位于苏北大平原东部，濒临黄海。盐城市下辖城区、东台市、大丰市、响水县、滨海县、阜宁县、建湖县、射阳县、盐都县，共九个县（市、区），总面积一万五千平方公里，人口八百万。
盐城盐、渔、农业较为发达，尤以产淮盐著名，因而得名盐城。
按照现在的行政区划，胡乔木的出生地为江苏省盐城市盐都县鞍湖镇张本村。
胡乔木之父，乃盐城名流。人们习惯地称他为胡启东。方铭说，其实启东是他的号，他的名字是胡应庚，生于1885年。父亲给予胡乔木的影响是深刻的。胡乔木自幼喜爱文史，是受了父亲的感染。
胡乔木的母亲夏氏，是一位相夫教子、勤劳而又贤慧的女性。
胡家本是农民。到了胡启东这一代，已有五十来亩土地，是地主了。
如今，胡家的盐城旧居，已经成为当地的名胜、旅游景点之一，人称“胡乔木故居”：
胡乔木故居原为砖瓦结构的四合院，前后三进，连东、西厢房有数十间。土改时，胡乔木父亲胡启东先生，主动将田地、房产献出，分给贫佃农，仅留下座北朝南堂屋三间。1991年当地政府对故居进行了重新修建，现有故居占地约200平方米。
故居堂屋正中悬挂着胡乔木七十岁时的巨幅画像，两侧悬挂的是他在北京工作、生活时的数十张大幅照片，其中有与毛泽东、周恩来、朱德、邓小平等老一辈无产阶级革命家合影十余张。东房间陈列着胡乔木生前捐赠的千余册图书，西房间陈列胡乔木幼时睡的床铺，用的部分桌凳，还有原全国书法协会领导成员，标准草书学社社长胡公石赠送的28幅诗词字画。在故居东南方，还保存一高大石碑坊，上边横额是“贞孝之门”，两侧有联，为曾任中华民国大总统黎元洪的手书，联曰：
父亲胡启东乃盐城名流（2）
春祠立石垂视范，河客停桡拜女宗。
这是当地百姓为表彰胡乔木祖母胡季氏青年守寡、抚孤成立而捐资建立的。
胡启东小时候，家境尚不宽裕。一个偶然的机缘，使他得以读书：那是同村的一户有钱人家，请了私塾教师教儿子，想找个孩子伴读。胡启东与他儿子年纪相仿，聪明伶俐，便被选去伴读。从此，胡家与诗书结交。
胡启东居然考上了秀才——清朝的末届秀才。回乡，做私塾教师。娶妻夏氏（不知其名），亦即胡乔木之母。
胡启东的诗文不错，在当地有了名气，成为盐城名流。民国初年，成立国会。这首届国会于1914年1月被袁世凯解散。1916年6月，黎元洪继任总统，恢复国会。胡启东当选为国会议员——第二届国会议员。
1917年6月，张勋复辟，强迫黎元洪解散国会，议员们纷纷南下护法。胡启东也南下广州护法，站在孙中山一边，在当时算是进步、开明的绅士。他在广州凭吊黄花岗七十二烈士，写下诗集《寓穗集》。
胡启东在1923年10月，受到一场严峻的政治考验：那时，直系军阀首领曹锟把总统黎元洪逼出北京，然后在国会举行选举，以五千元收买一张选票，要议员们选举曹锟当总统。这便是臭名昭著的“曹锟贿选”。10月5日选举时，出席的议员五百八十七人，曹锟以四百八十票“当选”。那些受贿的议员，被人们咒骂为“猪仔议员”。胡启东拒收贿款，不投曹锟的票，不当“猪仔议员”。他回到了故乡盐城，受到父老乡亲的敬重。
此后，胡启东告别宦途。他曾受命续修《盐城县志》，当地人称之“胡氏县志”。他家的田，由五十多亩增至一百来亩。当胡家长子从上海交通大学毕业后，家境更好些，土地增至二百多亩。
胡启东喜欢写诗。他曾自费印行诗集《鞍湖诗集》。胡乔木也爱写诗，是与受父亲的薰陶有关。
胡乔木在六岁时进入鞍湖小学（今张本小学）上学。那时，他穿一件黑色的粗布褂子。他读书很用功，而且喜欢看各种各样的书。夜里，在油灯下看书。夏日，在帐子里看书。只是他不喜欢体育运动。
胡乔木的学习成绩不错。在鞍湖小学读了六年，毕业时受到校长当众表扬——因为他的毕业成绩荣居榜首。
1924年，十二岁的胡乔木考取江苏省立第八中学（即今扬州中学）。他是鞍湖小学那年唯一考入江苏八中的人。
。 想看书来
《中国青年》深深影响了他
江苏八中，一所学风严谨、教育质量很不错的中学。今日中国科学院的学部委员（现称院士）之中，有十多位便出自该校。
江苏八中的左翼势力也颇强。1926年冬，江苏八中的学生们上街宣传，胡乔木也参加了。胡乔木在讲演时，点名批判了军阀孙传芳，为此遭到逮捕。鉴于他年幼，不过十四岁，很快获释。此事表明，年纪轻轻的他，已是左翼阵营中的一员。
他的大哥胡达新也在这所学校学习，他参加了国民党左派。胡氏兄弟都热心于政治。
恽代英来到江苏八中演讲，给学生们莫大影响。恽代英是中共早期重要的领导人之一，主编《中国青年》杂志，江苏武进县人。他的演讲，富有鼓动性，使学生们为之振奋。胡乔木也是热心的听众之一。
从此，《中国青年》杂志成了胡乔木的密友。这是中国社会主义青年团的机关刊物，当时的发行量达三万多份。恽代英在《中国青年》上发表了一百多篇文章。萧楚女、邓中夏、张太雷、任弼时、李求实等担任编辑，也发表了不少文章。二十多年后，胡乔木在延安成为《中国青年》的主编，这足以表明，当年的《中国青年》杂志，当年该刊主编恽代英的演讲，给予胡乔木多么巨大的影响力。
中共在这所名牌中学建立了组织。胡乔木读到了《向导》。《向导》是中共中央刊物，周刊，半公开发行。胡乔木在《向导》上读到陈独秀、李大钊、瞿秋白、蔡和森、张国焘、罗章龙等的文章。他也读了陈望道翻译的《共产党宣言》。他的政治倾向，日渐明朗起来。
1927年，大革命失败，军阀孙传芳占领了扬州，抓学生当兵。八中的校长叶维善决定学校停课，让学生们回家躲避。胡乔木随哥哥胡达新到镇江住了些日子。当他返校时，江苏八中已改名扬州中学，他进入了高中一年级。
高中分文科、理科。那时的胡乔木学理科，却又酷爱文史。他给校刊写诗，被吸收为校刊编辑。
1929年江苏大旱，胡家收不上租来，经济困顿。那时，胡家五个子女，有四个在上学。不得已，胡乔木则不得不休学，以便省下钱来供大哥胡达新上完大学。
失学，对于胡乔木无疑是个莫大的打击。幸亏校长帮了他的忙。校长教化学，让胡乔木做他的助手，批改实验作业，给他一些钱。这样，胡乔木在半工半读中读完高三。
临近毕业时，校方开除了几名学生，说他们是共产党。胡乔木为此写信给学校教务长，批评校方“甘当国民党的工具，把无罪的同学开除了……”这表明胡乔木的政治态度已很鲜明，表明他与共产党人有很多联系。
1930年夏，十八岁的胡乔木从扬州中学毕业，考取了北平清华大学。
在清华园演出“危险的戏”（1）
胡乔木进入清华大学，有人说是读中文系。其实那是误传。前些年，方铭生病住院，正巧胡乔木也住院。病中闲聊，胡乔木向方铭说起了他进入清华大学的有趣的经历……
胡乔木在高中读的是理科，也就报考了清华大学物理系。
那时，系主任乃大名鼎鼎的吴有训教授（后来曾任中央大学校长、中国科学院副院长）。新生入学后，吴教授便找新生们谈话。他问起胡乔木喜欢读什么，胡乔木照实直说，说的都是文史方面的课程。
吴有训当即说道：“既然你喜欢的是文科，大可不必读物理系。你可以转到文科去嘛！”
吴有训的一句话，使中国少了一位未来的物理学家，却造就了一位大“秀才”！
于是，胡乔木转到了文科。不过，他没有进中文系，而是进历史系。那时，中文系的招生名额已满，历史系尚有余额，而胡乔木对于历史也有兴趣——此后，他起草《关于若干历史问题的决议》，写《中国共产党的三十年》，直至晚年提议编写并审定《中国共产党的七十年》，也都跟他当年读过历史系有点瓜葛。
传说胡乔木进入中文系，大抵是由于他跟中文系系主任朱自清教授有过交往。
朱自清虽出生于江苏东海县，但自五岁起便随父母迁往扬州，在扬州长大，他自称“我是扬州人”。在扬州中学上高中时，胡乔木便细读了朱自清的散文集《背影》，对这位散文名家钦慕不已。
进入清华之后，清华的左翼力量颇强，学生会的领导权掌握在中共地下组织手中。胡乔木参加了中国左翼作家联盟的一些活动。他给朱自清教授写了一封信，征询朱先生对于“左联”的看法。
朱自清曾是中国文坛左翼作家阵营中的一员。1926年3月18日，朱自清教授曾和学生们一起，参加天安门广场的群众###，向当时的“执政府”请愿。军阀政府下令开枪，他亲历了血腥的“三一八惨案”……然而，在1927年“四·一二”政变之后，他觉得“心上的阴影越来越大”，埋头于书斋做学问。他收到胡乔木的信，出于对这位扬州中学毕业的“半同乡”的情谊，亲笔复了一函。这封信未能保存下来，但据胡乔木回忆，大意是：
大道之行，势不可挡。我或同情下去，或消沉下去。请来寒舍一聚……
寥寥数语，勾勒出朱自清芜杂的心境。他既同情左翼文化运动，以为“势不可挡”，但又处于重重矛盾之中。他约见胡乔木，对这位青年学子说及自己的夫人武钟谦