明嘉靖年間，海瑞任職期滿調離淳安，淳安百姓為紀念他勤政清政的業績而立“去思碑”，建生祠以示紀念。如今島上的海瑞新祠建于1985年，建筑面積625平方米，飛檐翹角，古樸典雅。

前廳有碑廊，大都出自古今名家之手筆，尤以“壽”字碑最為吸引游人。

后堂豎有海瑞九尺高度之塑像，左右兩壁并配掛一組反映海瑞生前治績的國畫。重建海瑞祠，旨在供世人憑吊海公。永久紀念海瑞的廉潔政績，借以警世育人，為民造福。

千島湖的傳說

很久很久以前，有一對夫妻，叫安小奇和卡小娜。安小奇特別愛吃螺螄，卡小娜很愛吃大蝦。于是，神把他們變成了西湖底的兩塊石頭，每天身上會有很多螺螄和大蝦陪伴他們。卡小娜不想和媽媽分開，所以央求神把她爸爸媽媽也變成石頭。安小奇不想和爸爸分開，所以央求神把他爸爸媽媽也變成石頭。這樣石頭越來越多，終于西湖里放不下了，神把他們轉移到了新安江邊。千島湖就是這么形成的。