衙門原作“牙門”，最早是軍旅中的稱謂，後來逐漸移為朝廷官署所使用。那麼，為什麼古代官府稱為“衙門”呢？
衙門是古代官署的一種俗稱，就是官吏辦公、辦事的地方。如《廣韻》上載：“衙，衙府也。”衙府就是官署。蘇軾《異鵲》：“仁心格異族，兩鵲棲其衙。”清朝小說《紅樓夢》第四十八回上載：“著他寫一張狀子，隻管往有司衙門中告去。”清朝戲曲家李漁所作十種曲之一的《玉搔頭·奸圖》曰：“指望討幾封薦書，往各衙門走走。”這裏出現的“衙門”，都是指古代官吏辦理公務的地方。
衙門原作牙門，這是為什麼呢？
古代軍隊駐紮戍守，主帥或主將的軍營前會樹立一牙旗作為軍門，所以營門也稱為“牙門”。在《周禮》上稱為“旌門”，如《周禮·天官·掌舍》：“為帷宮，設旌門。”《國語》上則稱為“軍門”，《國語·齊語》：“執枹鼓立於軍門。”三國吳雲陽人韋昭注：“軍門，立旍（jīnɡ，同‘旌’）為軍門，若今牙門矣。”《辭海》注釋：牙門為“古代軍營前置牙旗，所以營門也叫牙門。”《三國誌·魏誌·典韋傳》：“牙門旗長大，人莫能勝，韋一手建之。”
再有《後漢書·袁紹傳》：“曲義追至界橋，瓚斂兵還戰，義複破之，遂到瓚營，拔其牙門。”李賢注引：“《真人水鏡經》曰：‘凡軍始出，立牙竿必令完堅；若有折，將軍不利。’牙門旗杆，軍之精也。”牙旗也稱牙，劉長卿《獻懷寧軍節度使李相公》詩：“見牙吹角不聞喧，三十登壇眾所尊。”
“牙旗”，就是天子或將軍立在軍營前的大旗，因為旗杆上通常用象牙做裝飾，所以稱為牙旗。如《文選·張衡·東京賦》：“戈矛若林，牙旗繽紛。”薛綜注：“兵書曰，牙旗者，將軍之旌。謂古者天子出，建大牙旗，竿上以象牙飾之，故雲牙旗。”
由此可見，“牙門”最早是軍旅中的稱謂，後來逐漸移為朝廷官署所使用。
宋朝司馬光等人纂修的《類篇》上載：“古者軍行有衙，尊者所在，後人因以所治為衙。”。《新唐書·泉獻誠傳》：“命宰相南北牙群臣舉善射五輩。”《資治通鑒·唐中宗神龍元年》：“北門南牙，同心協力。”胡三省注：“南牙，謂宰相；北門謂羽林諸將。”這裏的“南牙”是宰相辦公的地方，後作衙門。
宋朝錢易《南部新書·庚》上記載：“近俗尚武，是以通呼公府、公門為牙門，字稱訛變轉為衙。”封演《封氏聞見錄》卷五也有相同的記載，因此看來，衙門原作“牙門”，訛誤變易後才稱為“衙門”。《辭海》注釋：“牙門”就是“官吏辦公的地方，即衙門。”可見“衙”為“牙”的“訛變”。
此外，古代的衙門為了顯示出氣派、威嚴，大門多開六扇門。所以，後來也以六扇門代指官府、衙門。關於衙門的諺語有：“衙門六扇開，有理無錢莫進來”、“衙門八字朝南開，有理無錢莫進來”、“衙門深似海”等。
現在的政府機關是為人民服務的機關，千萬不要深宅壁壘，更不要有“衙門”作風，應該深入群眾，接觸百姓，時刻把老百姓的事情放在心上。