汉晋时，龟山曾为县治， 由于它临于 天险淮水，历史多为用兵之地。故龟山又称"军山"。唐宋时龟山有灵慧塔，山麓庙宇连绵，殿阁雄伟，有淮渎神象、大铁佛、五百鎏金铁罗汉等。可惜毁于战火。龟山孤峰峙立，磔主中流，登山纵目，千里长淮，八方烟雨，尽收眼底。古代名人多来此游览吟咏。宋米芾有“龟山寺晚钟”诗句：“危峰高耸接云楼，落霞映照夕阳村”，别具一番新意。宋代高丽使臣朴寅亮曾到龟山一游，并作《过龟山》诗一首。诗曰：“岩岩峻石叠成山，下著珠一水环。塔影倒垂淮浪底，钟声遥落碧云间。门前客棹洪涛急，竹里僧棋白日闲。一幸胜游堪惜景，故留诗句约重还。”由此可见当年龟山的繁盛情景。

　　据说，古时候，这块弹丸之地，城池众多，寺庙林立、香火鼎盛，苏东坡《龟山》诗中就有过“木鱼呼客振林莽”的描述。历史上，在这里筑城的有“魏武城”、“项王城”、“小儿城”等；寺庙有淮渎庙、安淮寺等等。

　　据碑文记载，淮渎庙在北宋天禧年间就建成了，明嘉靖年间再次大兴土木重修该庙，规模宏大，光铁罗汉就有五百尊。安淮寺则建于道光十七年（公元1837年）。传说，这一年治水总督麟庆率众考察淮水，登上龟山举目远眺时，发现水中有一若隐若现的怪物，经人打捞，捞上了二十尊铁罗汉，他认定水患源于此，便选区出一个适中位置，建了这座淮安寺，为安定淮水，把铁罗汉放在里面。

　　有名的支祁井就在下龟山西南脚，百姓又称为"水母井"。传说水怪巫支祁就被锁在里面，南宋诗人张禧写诗道；“长淮日夜赴东溟，千里龟一抹青，神禹尚疑疏凿在，支邪空锁云腥。”乾隆皇帝下江南时，曾来看过支邪井内水怪，当翻开井盖时，只见水面翻滚，水怪扬言要吃人，吓得乾隆魂飞魄散，赶紧合拢井盖。

　　随着时代的变迁，下龟山上寺庙因年久失修而倒塌了。如今，龟山上尚存有两块残碑、一棵枯白果树和一口枯井。但这座山自然风貌和古刹遗迹仍在吸引着好奇的游客。