1956年，中国科学院上海历史研究所成立。当初成立上海历史研究所的初衷虽然是在上海搜集整理中国近现代史资料和研究中国近代史，但由于筹备处的几位负责同志如李亚农先生、周予同先生都是古代史研究的名家，因此从历史研究所成立伊始，中国古代史研究便成为重点的研究学科。1958年专门设立第一组，以研究古史为主要任务。1959年7月，根据上海市委和市政府的决定，原历史所筹委会转而隶属上海社会科学院，定名为上海社会科学院历史研究所，并于9月26日正式成立。是月，原第一组调整为中国古代史组，是为古代史研究室的前身。

       古代史研究室自成立以来，名家辈出，如李亚农、周予同、杨宽、方诗铭、刘修明、杨善群、罗义俊、芮传明等均是有影响的学者，并涌现出了秦汉史、明清史等优势传统学科，在中国史学界有着独特的地位，而由杨宽先生发起，方诗铭先生等完成的《古本竹书纪年辑证》、方诗铭先生的《中国历史纪年表》《中国史历日和中西历日对照表》等更是一代经典著作。目前，古代史研究室有研究人员8人，其中研究员2名，副研究员4名，助理研究员2名，近年来获得国家社科规划项目、上海市社科规划项目等多项，在各类学术期刊发表文章多篇。