1926年7月，北伐战争开始后，罗亦农密切关注战事进展。9月，北伐军在两湖战场取得决定性胜利，罗亦农审时度势，果断提出“上海地方非有一次民众暴动不可”“要特别注意军事工作”。同年10月到次年3月，他参与组织领导上海工人三次武装起义。在前两次起义受挫的情况下，他和战友们毫不气馁，屡仆屡起。1927年3月21日，第三次起义以全市举行总同盟罢工、罢市、罢课的形式开始，随即转入武装斗争。罗亦农协助起义总指挥周恩来精心谋划、周密部署，使罢工命令发出不到两小时，全市80万工人全部参与罢工。经过30个小时浴血奋战，上海工人以鲜血和生命的代价占领上海，取得第三次武装起义的胜利。3月22日，上海工商学各界举行市民代表会议，选举19人组成上海特别市临时市政府（即上海市民政府），这是党领导下最早由民众在大城市建立起来的革命政权。罗亦农当选为临时市政府委员，并被周恩来誉为“上海暴动的创造者”。

上海工人第三次武装起义，是大革命时期中国工人运动的一次壮举，是北伐战争时期工人运动发展的最高峰，为在中国开展城市武装斗争作了大胆尝试。罗亦农是党内最早认识到武装斗争和建立政权的重要性、最早参与领导武装起义的领导者之一。他强调党和工人阶级掌握武装的重要性，指出：“我们一定要有工人自己的武装，不然，将来就有吃国民党子弹的危险。”他强调党对起义和政权加强领导的重要性，指出：“我们党要积极取得民众革命领导的地位，领导工农阶级与小资产阶级”“直接取得民众政权”“否则，民众拿不到政权，则北伐等都为空虚”。他始终保持高度的政治敏感，在起义胜利后，洞察到统一战线内部的分裂潜流和蒋介石的“别有用心”，提出“维持工人武装为目前最重要的问题”“要随时随地准备武装与右派军队发生总决斗”。