寺始建于梁天监二年(公元503年)，取佛教十方广布之意，为南岳衡山“四绝”风光之一。也是佛教传入南岳的第一古刹。由惠海禅师创建.

唐时改为“方广圣寿寺”，宋初又赐“方广崇寿禅寺”。明清多次重修。清道光年间，陕甘总督曾国荃费白银2万两予以重修，至有现存规模。宋徽宗曾御书“天下名山”匾额。寺右有“二贤祠”，为纪念朱熹、张拭而建。

寺前沿溪有“洗衲石”“补衲石”“啸台”“恋响”等石刻。寺周有八座山峰，如莲花瓣，寺居莲心。谷深树密，有娑罗树、红豆杉、银雀、香果等珍稀树种，其中伯乐树和红豆杉为冰川后期幸留树种。

游人到此有“幽深”之感，故前人有“不到方广，不足以知其深”之说，附近还有王夫之隐居多年的“续梦庵”和黑沙潭、狮子山原始次生林等景点。