潭柘寺始建于西晋永嘉元年(公元307年)，寺院初名“嘉福寺”，到了清代，熙皇帝赐名为“岫云寺”。由于寺后有龙潭，山上有柘树，故一直称为“潭柘寺”。民间素有“先有潭柘寺。寺前树林的藏着各种灵塔数十座，多为砖、石结构，平面呈圆形或六角形，多为密檐式。建造年代从金、元至明代都有，大都是各种高僧的灵塔。 潭柘寺地处深山，交通不便。