1930年，胡乔木高中毕业后考入清华大学物理系。当时现代物理学已在中国有了很大的发展，而清华大学无疑是当时中国物理学师资力量最强的地方，然而没过多久，胡乔木发现自己并不适合这门学科，他想多读书，不希望把大量的时间花费在实验上。于是，他转到了历史系，当时清华大学的历史学研究也是非常有名的。不过，物理学也好，历史学也好，都没有成为胡乔木的研究方向。在那个时代，积贫积弱的国家最需要的是寻找到解决社会主要矛盾的突破口，而物理学或历史学显然并不能解决中国的根本问题。

在攻读各门课程和从事社会活动之余，胡乔木还抽空写作和翻译。他在《国立浙江大学校刊》（以下简称《浙大校刊》）上发表的六篇诗文（包括翻译），都完好地保存了下来。胡乔木在《浙大校刊》上发表的作品色彩比较温和，从冲淡平和中透露出对时势与人生的关切。他的七律《无题》，抒写对美妙情景的追求与疑虑之间的矛盾心情，表露出不肯消极作罢的人生态度，可以看出是有意追随李商隐的诗风。他的五言歌行《甲戌中秋作》，则大有杜诗的意趣。诗篇写一位饱经沧桑之人在中秋月夜的感慨，有力地抨击了蒋介石“攘外必先安内”的反动政策。胡乔木用中国古典诗歌五言、七言和长短句等多种形式，翻译了英国诗人、法国象征派文学运动的支持者西蒙士的五首小诗，皆为清新哀怨之作。在《西蒙士诗抄》“译后附志”中，胡乔木谦虚地表示：译诗“于‘信’‘达’‘雅’三者皆有未尽”，并特别说明：“《渔孀》一篇，意境高远，最为译者所爱；云‘所期’者，盖象征人生某种失而不可复得之憧憬也。”可见胡乔木当年的审美情趣。

胡乔木从上海到杭州时，浙江大学没有共产党的组织，也没有左翼成员，上海的王翰他们没办法让胡乔木带什么组织关系。胡乔木只好单身一人开展革命活动。到浙大以后，他就感受到学校的求是精神和学生中要求革命和进步的氛围。通过观察和交谈，他发现了一些同情革命、倾向进步的同学，就同他们经常谈心，交流思想。

转入浙大不多久，胡乔木同孙修爵等一两个朋友一起办了一个墙报。色彩比较温和，没有什么激进的言辞，只是在上面贴了一张苏联青年农民扛着锄头的照片，题名“青春和热情”，露出一点倾向。这张照片是从上海出版的英文版《中国论坛》上剪下来的。墙报的名字叫做“沙泉”，也颇有寓意和亮色。

校长郭任远的嗅觉很灵，看到墙报上的照片，亲自动手，把它取下来。当天晚上，他就把胡乔木找去问话：“你这张照片是哪里来的？”胡乔木说：“上海一个朋友知道我喜欢画片寄给我的。”郭任远板起面孔说道：“你知不知道，《中国论坛》是非法刊物，已经被捣毁了！”紧接着，在星期一的纪念周会上，郭任远讲话，公开批评《沙泉》，并宣布禁令：今后学生一律不准出墙报！就这样，胡乔木办的墙报被禁。

胡乔木很关心同学的课外活动和课外阅读。在胡乔木看来，青年学生当时最迫切需要的是读进步的、革命的书籍。于是，胡乔木就致力于组织读书会。这是当年地下党团结进步青年、组织革命活动最常用的一种方式。参加读书会的，有浙大的李震同、徐彭龄、陈怀白和之江大学的华寿俊等五六个人。读书会组织学习马克思主义的社会科学著作。每两周在之江大学外、钱塘江边的六和塔下秘密开一次会。会议开始，一般都先谈一下国内国际形势；然后交流读书心得体会，展开讨论；最后商量学校的活动。读书会活动了两三次。读书会阅读的有些秘密书刊，是王翰从上海寄过来的，有时也让人到上海去取。王作民去上海时胡乔木就曾经介绍她去见王翰，为胡乔木带回革命书籍，还有夏衍的工作意见。行程秘密还颇有几分风险。王作民在回忆录中记述过其中的一次：胡鼎新见我去上海，就要我顺便为他运一些书籍到杭州，……书装在一只杭式竹编网篮里带回杭州。在火车上我巧遇陈逵老师。火车上查票的来了，只见陈逵向查票人补了两张多坐一站到末站艮山门下车的票。他知道我带的是些什么书；他说在艮山门下车可避开检查行李。那次返城，候长途汽车二三小时之久，乔木和我都十分感谢陈老师的关怀和爱护。要不是1934年深秋，一场突如其来的浙大学潮使他和我都被迫离校，乔木那读书会肯定会播下一片火种的。

这场突如其来的浙大学潮，就是驱逐校长郭任远的驱郭运动。郭任远是1933年4月从复旦大学调来的。他是有名的心理学家，主张后天的教育与环境造就人。同时，他又是国民党系，忠实推行国民党的党化教育，所以管理特别严格。郭任远一到浙大，就推行他的“隔离政策”：把大一新生同老生隔离，对新生实行军事管理。胡乔木和他的同学们也直接感受到郭任远那法西斯统治的严酷：先是禁办墙报《沙泉》，接着赶走教授孙大雨，后来竟毫无根据地当面指责胡乔木散发秘密传单。郭任远威胁胡乔木说：“我是自由主义者，不在乎这些，但特务要抓你，我劝你还是赶快离开学校。”

胡乔木和同学们对郭任远早已怨愤满腔了。一件偶发的小事，两名行将毕业的大四学生在为教师开辟的网球场上打球，竟然被郭任远张榜开除，在浙大校园里激起了一股巨大的风潮。

胡乔木、王作民他们还缺乏斗争经验，他们不知道辞职是郭任远玩弄的政治把戏。任学生们怎么翻腾，他不动声色。接着而来的是浙大教职员的“务恳大部竭力挽留”和教育部暨部长对郭任远的“连电慰留”。教育部长王世杰的电报还说“该校学生违反校纪如此，实堪痛惜！盼兄勿再言辞，继续负责整顿”。教育部同郭任远沆瀣一气，“辞职”的把戏继续演下去：“再辞职——再慰留”，然后是“三辞——三留”。拖着拖着，学生就要大考、放寒假了。这时，王世杰面谕郭任远：“即日回校视事。”郭即致电王称：“任远遵于支日返杭，准歌日到校视事。”1934年11月5日（星期一）举行纪念周时，郭出席训话。同时贴出布告：“本校长遵于即日起，正式到校办公。”12月1日，蒋介石写亲笔信，给郭撑腰，令郭“凡不敬长上不守纪律者必须严加取缔，勿稍姑息”。

郭任远重掌学校大权，遵照蒋介石的旨意加紧统制。首先采取的一个措施是，把驱郭运动的中坚胡乔木、王作民开除出校。不过，他没有采取公开布告的方式，而是狡猾地采用个别通知的办法。放寒假前，胡乔木、王作民都接到校长办公室的一纸通知：“着该生毋庸来校注册。”

在发除名通知的时候，浙大教务长，政治学、经济学两门课程的教授费巩找胡乔木谈过一次话。他对胡乔木说：郭校长决定叫你退学，我是不赞成的，但校长已经作了这样的决定。现在我给你开一张浙大的肄业证书，这样你可以转到别的学校去读书。胡乔木不想离开杭州，经过组织秘密读书会等活动，他在这里已经有了工作基础。这年寒假，他住在昆山的大四同学李震同家中。寒假中，胡乔木带着浙大的肄业证书到上海考了杭州的之江大学，被录取了。

1935年春节过后新学期将开始时，胡乔木回到杭州。他在预先约定的那天晚上到之江大学去找华寿俊，才知自己已被浙江省特务机关列入侦捕的黑名单。华寿俊催胡乔木快走，把他迳直送上了回上海的夜车。

1935年12月，胡乔木还秘密到杭州，指导浙大学生驱赶郭任远的斗争。这次罢课斗争组织比较严密，持续了三十多天。国民政府行政院被迫决定免去郭任远浙江大学校长职务。驱郭斗争终于取得最后胜利。对此，随后担任浙大校长的著名气象天文学家竺可桢在日记中写道：“郭之失败，乃党部之失败。”

胡乔木从杭州到上海时，上海地下党正遭到一次大破坏。那是1935年2月19日夜里，国民党反动政府根据担任过中共上海中央局书记的叛徒李竹声、盛忠亮的告密，勾结英法租界工部局，进行全市性的大逮捕，破坏了中共上海中央局机关。中央局和文委（中共中央文化工作委员会的简称）等领导同志三十多人被捕，其中包括中央局宣传部长朱镜我，文委书记阳翰笙，成员田汉、杜国庠和社联党团成员许涤新等。党在左翼文化战线的上层领导损失惨重。文委五个成员中只有周扬、夏衍二人幸免。胡乔木就是在这种白色恐怖严重的情况下参加社联工作的，有一种前仆后继的精神。几个月来，胡乔木工作积极主动，富有成效，得到社联领导的一致好评。

王翰在盐城与胡乔木在同一个党组织中生活过，知道胡乔木1932年秋就已入党，只是后来到浙江大学读书，没有找到党的组织，失去了党的关系。但他还是以一个党员来要求自己，开展革命活动，团结进步学生。经过在上海这段时间的考察，王翰向社联党团提出，由他介绍胡乔木重新入党。社联党团成员陈处泰（道之）代表组织与胡乔木谈话。他们在外滩见面，沿着黄浦江边走边谈，好像是两个朋友在那里散步一般。谈话后，经社联党团讨论，于1935年5月批准胡乔木入党。