衙门是旧时官员的办公之处，其实，衙门是从“牙门”演变而来的。“牙门”系古代军事用语，是军旅营门的别称。
“牙门”之称，源于“牙旗”。牙旗，是古代君王、将帅所置的大旗，旗杆以象牙作为饰物。“古者天子出，建大牙旗，杆上以象牙饰之，故云牙旗。”古代君主、将军统兵出征，常在军营门口设置牙旗，军中听号令，必至牙旗之下。所以营门也称“牙门”，是军中的办公之处。“牙门”的地位非常重要，直接影响着军心和士气。
后来“牙门”由军营之门的意义，逐渐发展为指官署之门。在南北朝时期，“牙门”已经演变成为后来的“衙门”之义了。《武瓦闻见记》中记载：“近俗尚武，是以通呼公府为‘公牙’，府门为‘牙门’，字稍讹变转而为‘衙’也。”唐朝以后，“衙门”一词广为流行。到了北宋以后，人们就几乎只知道“衙门”而不知有“牙门”了。