张掖大佛寺初建于西晋，原名“迦叶如来寺”。东晋隆安五年（401），沮渠蒙逊建北凉于张掖，迦叶如来寺正居张掖城南景门之内，坐北面南，是北凉国都的中心寺院。约公元411年，印度著名翻译家昙无谶到北凉弘法，在张掖门徒众多，影响颇深。公元412年，北凉迁都姑臧（今武威），421年，昙无谶译成《大般涅槃经》40卷，涅槃宗自此形成，昙无谶成为中国涅槃学的宗师，张掖大佛寺也便是中国涅槃宗的重要发祥地。
 

1962年12月20日，甘肃省人民委员会公布张掖大佛寺为省级文物保护单位，甘肃省文化厅随后派文物工作者对大佛寺藏经进行了清理登记，并采取保护措施。“文化大革命”期间，大佛寺先后经历了学校、公安局、剧团、体育委员会的建设利用。

1970年曾在地下大范围开挖防空洞，寺院古建筑和文物遭受了极大地破坏，原有建筑仅存大佛殿、藏经殿和土塔3座。

1979年9月甘肃省文化厅拨款维修大佛寺，并正式由文化馆管理并对外开放参观。

1985年后，张掖地区、张掖市政府拨款迁入古建筑7座。

1987年成立张掖市博物馆，驻大佛寺办公。张掖市博物馆成立后，负责大佛是寺文物保护管理、古建筑维修、对外开放工作，并筹建了历史文物、古代书画、佛经等几个展厅，开展文物收藏、展览和研究工作，大佛寺的社会、经济效益逐年提高，影响不断扩大，成为张掖市对外开放的重要窗口之一。20世纪90年代以后，由于国家领导人对大佛寺的文物保护和建设发展的不断重视，中央财政共拨款1605万元，对大佛殿十大弟子进行了扶正，修建文物库房1座，仿古建筑2 座，并对大佛寺区域的基础设施进行了全面改造，大佛寺为之焕然一新。

1996年11月，张掖大佛寺被国务院公布为第四批全国重点文物保护单位。

1999年，大佛寺所在的张掖市博物馆被国家公安部、国家文物局公布列为国家一级风险等级博物馆。