相传李白访新安高士许宣平来黟过此。宋祝穆撰《方舆胜览》载：“钓台在徽州黟县南十八里，名浔阳台，相传李白尝钓于此”。并留有诗云：“磨尽石岭墨，浔阳钓赤鱼，霭峰尖似笔，堪画不堪书”。台旁昔跨路建有二楼八角亭，北门石额为“飞泉天外”，南门石额为“耸散来彤”。“浔阳台”三个大字石刻嵌于石壁上，笔遒律严。

清嘉庆十三年（1808）在钓台东的潘山上建有浔阳书院，现已圯。1994年，黟县人民政府将浔阳台列为桃花源长廊的景点之一，并刻有《浔阳台记》等碑。