中国明代以前对档案的称呼与文书不加区分，有典、册、策、中(册字的省形)、简牍、文书、簿书、案卷、文案、案牍等称谓。
“档案”一词始见于清代，康熙十九年(1680年)《起居注》中记载，康熙帝在披阅秋审众犯册时问：“马哈喇之父与叔皆没于阵，本人亦有功牌，其罪如何?”大学士奏曰：“部中无档案，故控告时部议不准。”大约成书于康熙四十六年的杨宾《柳边纪略》则对档案有所解释：“边外文字多书于木，往来传递者曰牌子，以削木若牌故也；存储年久者曰档案，曰档子，以积累多贯皮条挂壁若档故也。”清入关后改用纸张书写，但习惯相因，仍将保存起来的文书称作“档案”、“档子”。在其后的律令条例中，对于“文书”和“档案”的用法，更有较为明确的区分，多处使用“缮写文书，收贮档案”，“录存档案”，“档案副本”等等。
按汉字本义，“档”为横木框格，系指存放东西的阁架；“案”即小桌子一类的东西，引伸为处理某一事件的案卷。“档案”即存入档架的案卷，沿用至今仍有其形象的和内在的意义，并赋予了新的科学含义。
欧美诸语言中档案一词均源于希腊文αρχειον和拉丁文archivum，文字和发音都很相近。其原意为行政机关所在地，后指保存公务案卷或其他文件的处所，进而兼指保存在这些地方的档案。它是一个多义词，可解为档案库、档案室、档案馆、档案等等，因而使用时往往需要加以限定或说明。如俄文архив，在30年代多指档案馆，对档案则称архивныйматериал(档案材料)；近年苏联国家标准文件规定以архивныйдокумент(档案文件)为特指档案的通用术语。
在日文的一般词汇中无档案一词，常用ぶんしよ(文书)或こぅぶんしよ(公文书)，日本国家档案馆称为こぅぶんしよかん(公文书馆)；而在汉文日译时使用とぅぁん(档案)或とぅし(档子)。
