档案馆在我国有悠久的历史，早在周王朝就建造了我国最早的档案馆——天府。凡是国家贵重的宝器物类和重要簿籍都由天府收藏保管，负责管理的官员称守藏室史或柱下史，著名道家学派创始人老子曾任过这一职务。

汉朝建立后，建造了天禄阁、石渠阁宫廷档案馆，是萧河（刘邦的谋臣）为收藏入关后在咸阳等地缴获的秦王朝文件、图书和宫廷档案而主持建造的。包括存放档案的库房、撰史著述和学术交流的场所。著名学者刘向和辞赋家杨雄等，都在天禄阁校书。汉宣帝曾在石渠阁召集学者论定“五经”。

唐朝的甲库是我国档案史上最早的人事档案库。统治阶级为巩固自己的政权，通过科举制选拔人才，对官吏的职务、履历、考评都有详细记载，并根据这些档案作为选拔官吏的依据。这种人事档案称为“甲历”或“官甲”、“敇甲”。

宋代建造的第一个档案馆是龙图阁，分上下两层。上层藏宋太宗的御书、文集、轴卷等。下层藏图书、宝物，分史传阁、子书阁、文集阁、天文阁、瑞总阁等部分。馆内还设有专职工作人员。此后，真宗又建天章阁，英宗建宝文阁、显谟阁，徽宗建徽猷阁。北宋建皇家档案馆五座。南宋诸帝沿袭北宋成法建敷文阁、焕章阁、华文阁、宝谟阁、宝章阁、显文阁六座档案馆，专门收藏皇帝的诗、词、赋、序、记、碑、政事、手札等档案。

敦煌莫高窟石室是我国古代遗留下来的珍贵罕见的档案馆。收藏5世纪到10世纪（六朝到宋初）用汉、藏、回鹘、龟兹、于阗、印度等中外多种文字书写的经卷、典籍、方志、信札、契约、户籍、账簿、变文、曲子词等计几万件档案资料，内容十分丰富，是研究古代社会、文化、宗教、艺术、交通、外交、人民生活等方面的重要档案资料。皇史宬是建于明朝嘉靖年间的皇家档案馆，为宫殿式建筑，红墙黄瓦，金碧辉煌，全部砖瓦结构（石室），内有152个鎏金雕龙、铜皮樟木箱（金匮），内藏诏册、实录、圣训等重要档案。

清朝除沿用皇史宬存放清宫实录、圣训、玉牒外，又建方略馆存放军机处档案。方略馆所藏档案涉及到清代政治经济、军事、外交各个方面，是研究清史的第一手资料。