南港村活動中心相北方，約五、六百公尺有一個陳家「南嶼城」，此城均由玄武岩築成。城門是拱形玄武石門內側，嵌有「重修南嶼城記」石碑，碑文如下：
『先祖陳進公於乾隆年間，隨母自八罩徙居南嶼，卜山宅尖山腳，年三十，與張氏月，結為連理，育四子，歷數十年，披荊斬棘，開荒闢壤，北起後井腳，南建南埤仔尾，東至魚月仔崎頭，西至宮溝東，蓁莽荒野，化為良田。後大興土木，建造城牆，南嶼「城內」由此名焉。原有城牆，北高三米，長四十五米，東高二至三米，長三十米，西高二至三米，長五十米，因年內失修，時有坍塌，為維祖產於不墜，族中賢達，倡議重修，並獲眾族親熱烈響應，遂於民國七十七年農曆二月廿四日辰時破土，修牆工程款、土地，率由城內眾族親捐獻，「城內」城牆乃復見舊觀，耑此立碑以誌之。西元一九九○年一月廿二日』
由此得之七美大性之一---陳姓，在清乾隆從望安遷移至此，世居於南嶼城附近。本城從修後也成為本鄉觀光景點之一。