奔流不息的灵山江水流经溪口镇下徐村塔山时一分为二，绕过塔山后重又合二为一，于是塔山及其周边区域成了一个面积约6000平方米的“孤岛”。在这座“孤岛”上，矗立着坐西朝东、飞檐翘角、外墙呈暗红色的建筑，这是历史悠久的塔山寺。

历史上，灵山古镇有一座徐家祠堂，徐氏族人繁盛而往北迁徙，于是在灵山古镇之北约3公里处又建了一座徐家祠堂，因此地相较于灵山古镇处于灵山江下游，故谓之为下徐，下徐村即由此而来。下徐村东西两侧有连绵起伏的群山，犹如2条盘曲的长龙，灵山江自南而北蜿蜒穿村而过。2008年4月，下徐、步坑口、步坑源3个村合并，仍称下徐村。

下徐村曾有多座寺庙。唐朝末年，洪都（今南昌市）禅师卓锡在距灵山江以西1.5公里的天堂山脚下建禄丰院，宋真宗大中祥符元年（1008年）改名延和寺。该寺为三开三进楼阁式建筑，一进山门供弥勒佛，二进为大雄宝殿，供释迦摩尼佛、罗汉，三进为观音堂。两侧有南斋堂及5间客厅、5间精舍。南宋时寺下村刘章（1097年—1177年）在此寺苦读，后高中状元。据传，刘章曾在来往延和寺的路旁亲手栽下3株苦槠树，意寓“吃得苦中苦，方为人上人”。据下徐村87岁高龄的退休老师蓝竹友回忆，小时候他见过这3株苦槠树，树干粗需2人才能合抱，他还捡过苦槠果用于做豆腐。苦槠树在“文革”时被毁。明初，有僧人雪山留下题壁诗一首，诗云：

万里溪河翠欲流， 上方仙境甚清幽。

烟岚散影开丹壑， 空谷生寒逼翠裘。

龙里乾坤谁写得， 个中风月少人收。

我今不必游三岛， 一一分明谷醉眸。

当地传说，雪山大师即为明朝“靖难之役”后削发为僧的建文皇帝。

明代在天堂山还建有一座天堂庵，系灵山富户何家女主人所建。何家在扁石村江潭自然村建有豪华别墅，四周有大片枫林，被称之为“西山红叶”，成为古时灵山十景之一。某年，因洪水泛滥，多个村民被洪水吞没，枫林也被冲毁，在洪灾中幸存下来的何家女主人感叹平安、生命的重要，率一众女人在天堂山建起了天堂庵，念经拜佛，祈求平安。明嘉靖年间，县人余湘有《登天堂庵》一首，诗曰：

山房深锁白云封， 隔断红尘数白峰。

青杖自容探鸟道， 黄花应不笑龙钟。

秋风木榻松枝瘦， 落日椰杯竹叶波。

独立天南无限兴， 荷栏风雨意重重。

清末时期天堂庵被毁。

在下徐，历史最为悠久的寺庙当属塔山寺了。塔山寺始建年代不详，据管护该寺的63岁老人张素根介绍，1700多年前印度和尚东进（音）来此建寺，原称隐鹫寺，后印度和尚圆寂，尸身装入坛埋在寺的西南角。明代时，印度和尚被发现，其法体犹未腐，信众遂建了一座六面七层楼阁式空心砖塔，将印度和尚重埋于塔基中间。这座塔被称为灵山塔，此塔与别的塔有一处不同：塔无顶。当地流传“灵山塔无顶保灵山，有顶保江潭”的说法。灵山村庄规模比江潭大、人口比江潭多，建塔时只能“保大弃小”，所以塔建成后无顶。塔山之名始于灵山塔，而隐鹫寺也因塔山被改称为塔山寺。后来寺被毁改建庵，名塔山庵。康熙志有“塔山在县南四十里，孤岛矗立，回水交流，竹林掩映。舟行望山上寺塔人物，宛如图画”的记载。

唐人杜荀鹤《登灵山水阁贻钓者》诗云:

江上见僧谁是了， 修斋补衲日劳身。

未胜渔父闲垂钓， 独背斜阳不采人。

纵有风波犹得睡， 总无蓑笠始为贫。

瓦瓶盛酒瓷瓯酌， 荻浦芦湾是要津。

杜荀鹤（约846-约904年），字彦之，自号九华山人，池州石埭（今安徽省石台县）人。他出身寒微，中年始中进士，因未授官乃返乡闲居，是晚唐著名的现实主义诗人。

清代龙游县教谕黄涛作有《同沈、郑二公登塔山》诗，诗云：

灵山塔寺迥临流， 别是林泉一神幽。

此处何尝邀鹤驾， 期间只合隐半裘。

桥西竹木青无尽， 午后烟云烂不收。

解得使君抬饮意， 乘间相马放呤眸。

民国3年（1914年），灵山福建会馆的福建商人与灵山民众共同集资改建塔山庵为临水宫，香火从福建古田临水宫迎来，祭祀临水夫人陈靖姑和她的谊姐妹林九娘、李三娘。改建成临水宫或与福建的民间信仰有关。陈靖姑（905-928年）,被誉为救产、护胎、佑民的妇女儿童保护神。某年闽都大旱，稻禾枯焦，民不聊生，陈靖姑以怀孕之身，临坛施法，祈雨抗旱，忽遭妖蛇暗害而辞世，后人在古田建临水宫以纪念。作为陈靖姑谊姐妹的林九娘、李三娘，在靖姑辞世后不久皆因伤心过度抑郁而终。在福建有“莆田有妈祖，古田有靖姑”的说法。

每年农历腊月，福建商人都要将陈靖姑、林九娘、李三娘神像抬到福建会馆过年，次年正月廿四送回临水宫。1956年塔山临水宫被毁。

民国27年余绍宋先生游塔山，写下了《同巫瑞琛游塔山感赋》：

危峦涌立都穹隆， 古塔崔巍耸碧空。

岚气远从千嶂合， 波光俯挹一溪通。

故人宿草思犹系， 晚景余晖兴欲穷。

多谢居停好调护， 攝衣揽胜几回同。

原国民政府立法院一级秘书黄立懋（灵山下街人），作有塔山晚渡二绝：

一

黯上春山翠欲油， 潭心塔影系孤舟。

调转鸭头飞倒一， 依稀夕照绿杨州。

二

断塔孤立映翠垅， 临河倒映水晶宫。

长虹驾渡舱沄里， 吹笛骑牛有牧童。

1966年仅存三层的灵山塔残塔被拆除，拆下的砖石用于灵山中学校舍建造。现塔基尚存，用条石砌筑，地面仅见少量碎砖。塔基于2006年公布为龙游县文物保护点。

1997年下徐村曾忠炎、曾学荣、张万庆、黄建业、苏联发等组织筹集资金，开始重建塔山寺，历时2年完成正殿建设。重建的塔山寺三开三进，进深9米，占地面积1100平方米，建筑面积426平方米。前进为临水宫，供奉陈靖姑和林九娘、李三娘等，二进供奉陈靖姑的师父许逊，三进观音堂供奉观音。每年农历九月十九观音成道之日，全国各地的信众齐聚塔山寺，祭祀佛祖、陈靖姑、观音，2018年竟达3000人之多。

龙游历来有“十殿九塔”之说，十殿已荡为云烟，难觅其踪，九塔中舍利塔、横山塔、鸡鸣塔等八塔仍存完好，就差一座灵山塔了。