檔案的產生、形成和發展經曆了漫長的曆史過程。
在原始社會，當人們進行社會實踐，需要表達和交流思想、感情時，隻能依靠語言。但語言既不能持久，也難以遠傳，這樣，隻能通過記憶來相互轉告。這種“口耳相傳”的傳遞方式為我們留下了各種遠古時代的“傳說”。然而，人們的記憶能力畢竟有限，為了適應日益複雜的社會生活和生產上的需要，人們開始借助於某些實物來幫助記憶。最初被人們用來記事的方法是“結繩”和“契刻”。《周易·係辭下》就記載：“上古結繩而治，後世聖人易之以書契。”這些“結繩”與“契刻”的符號雖然也能起到一定的備忘、信守和憑證的作用，但它們畢竟隻能幫助人們回憶起某些被忘卻的記憶，而不能表達確切的、完整的，抽象的概念。因此，“結繩”和“契刻”還不能稱之為檔案。
隨著社會的發展，出現了文字，出現了私有製和國家。為了適應管理上的需要，便產生了相應的文書。我國古代的典籍中就曾有類似的記載。唐朝張懷瓘在《書斷》中就寫道：“大道衰而有書，利害萌而有契。”隨著文書的產生和使用，也就形成了早期的檔案和檔案工作。
文書是人們在社會實踐活動中為了憑證、記載、公布和傳遞等需要，以文字的方式在一定的載體上表達思想意圖的一種書麵記錄。文書一旦完成處理程序，為了備查，人們往往有意識地將具有保存價值的那一部分材料保存起來，這就形成了現代概念中的檔案。隨著人類社會的進步，檔案的載體、名稱、種類和記錄方式都在不斷地發生著變化。
我們偉大的祖國曆史悠久，文獻典籍浩瀚燦爛。迄今所發現的最早的檔案是三千多年前殷商時期的甲骨檔案。由於殷人崇尚神靈與祖先，認為神靈與祖先的好惡能夠決定人間禍福，因此事事都要卜告於神靈與祖先。上至國家大事，下至個人生活，諸如祭祀、天時、年成、征伐、旬夕以及田獵、疾病、生育等，無不取決於占卜的征兆。殷人同時還將對這些征兆的解釋用文字的形式記錄下來，並加以集中管理，這就形成了大量的甲骨檔案。隨著社會的進步以及技術的發展，又逐漸出現了簡牘檔案、金文檔案、石刻檔案、縑帛檔案等。當漢代發明造紙術後，竹簡木牘等書寫材料仍被大量使用。直到東晉末年，豪族桓玄掌握朝政大權，公元403年代晉自立，國號楚。次年下令：“古無紙，故用簡，非主於敬也。今諸用簡者，皆以黃紙代之。”（《淵鑒類函》卷205，文學部引東晉《桓靈寶偽事》）自此，紙最終完全取代了簡牘，成為國家文書的正式書寫材料。到了現在，檔案的載體又出現了膠片、磁帶、磁盤、光盤等。
從檔案的名稱來看，也有一個發展演變過程。殷商時期，檔案被稱為“典冊”，《尚書·多士》中有：“惟殷先人，有冊有典，殷革夏命。”到了西周，檔案被稱為“中”、稱為“治中”，《周禮·春官·天府》載：“凡官府鄉州及都鄙之治中，受而藏之，以詔王察群吏之治。”秦漢時期，檔案被稱為“典籍”、“圖籍”、“圖書”，《史記·蕭相國世家》載：“沛公至鹹陽，諸將皆爭走金帛財物之府分之，何獨先入收秦丞相、禦史律令圖書藏之。”漢魏以後，開始出現了“文案”、“文書”的名稱。唐宋以後，有了“案卷”、“文卷”、“案牘”之稱，劉禹錫的《陋室銘》中就有“無絲竹之亂耳，無案牘之勞形。”大約到了明末清初，開始出現“檔案”這一名稱，目前發現較早見諸於文字的是《清太宗皇帝實錄》崇德三年（公元1638年）正月甲午日記載：“……坐此議：眾人同謀盜金，故不記檔案，俱應論死。”大約成書於康熙四十六年（公元1707年）的楊賓《柳邊紀略》中對檔案的詞源作了這樣的一種解釋：“邊外文字，多書於木，往來傳遞者曰牌子，以削木片若牌故也；存貯年久者曰檔案，曰檔子，以積累多貫皮條掛壁若檔故也。然今文字之書於紙者，亦呼牌子、檔子矣。”從語義學上分析，《康熙字典》對“檔”字的解釋為“橫木框檔”，意為一種木架，是存放物品的器具。《說文解字》對“案”字的解釋為“幾屬”，《正字通》則釋為“凡官府興除成例及獄訟論定者皆曰案。”由此可見，“案”意為一種矮桌，也可以解釋成處理一樁事件中形成的文書。因此，“檔”和“案”字連用，恰如其分地表達了文書在辦理過程中的幾個特定狀態，反映了“檔案”這一事物的客觀屬性。