枸杞岛开发较早，遭清初海禁而几沦为荒岛。康熙二十二年（1863）展复后，陆续有居民从宁波、温州、定海、岱山等地迁入。1934年始建乡。1949年5月，国民党江苏省政府溃退嵊泗，曾一度流亡该岛。枸杞乡政府驻地三大王村，全岛人口约1万，分布于14个自然村。枸杞也是一个迷人的旅游岛屿，沙滩、海蚀洞、绝壁奇礁、渔乡风情组成丰富景观。新辟的"小西天"景点，坡谷野林，曲径通幽。但使枸杞足以自豪的风光，是一块传达400余年爱国情怀的巨石。

    五里碑山岗有一块高9米，宽7.8米的巨石，兀然壁立，中裂一隙，上镌"山海奇观"4个巨掣大字，每字高达1.6米，笔力雄浑苍劲。系明万历十八年（1590）浙直总兵都督侯继高所题。下书落款42字："大明万历庚寅春都督侯继高统率临观把总陈九思，听用守备宋大斌，游哨把总詹斌、陈梦斗等督汛于此。"字大如拳，为舟山市重点文物保护单位。侯继高，明金山卫（今上海市金山）人，嘉靖（1522～1566）间世袭金山卫指挥使，在抗倭剿寇中著有战功。

    "山海奇观"大气磅礴，山岗黑松幽幽，芳草依依，景点融自然与历史人文于一体，堪称一绝。游人登斯处，临不朽巨石，观碧海长天，吟魏武《东临碣石》诗篇，令人壮怀激烈，中华民族捍卫巍伟海疆的决心，当以此石为证。

    枸杞沙滩背靠渔村，面向渔港，海滩上常会有渔家在织鱼网。绿色的鱼网加上黄色的沙滩、碧蓝的天空，依山而建的渔村，临沙滩的渔港，都是捕捉渔家风情的好镜头。

    小西天枸杞岛的最高峰，地处岛的西端，是岛上观日落的最佳场所。如果想拍日落，最好在半山腰处，夕阳西下波光粼粼的海面上停泊着渔船，非常美丽的画面。