До европейского завоевания Лонг-Айленд был частью мира лукаянов; археологические находки в пещерах показывают присутствие людей задолго до колониальной эпохи. После 1492 года население Багам было насильственно вывезено и архипелаг обезлюдел. Новая волна колонизации усилилась после Американской революции, когда британские лоялисты получили земли на островах. Официальная карточка плантации называет майора Арчибальда Тейлора, выходца из Северной Каролины, основателем Кларенс-Тауна и владельцем хозяйств, где трудились порабощённые африканцы; рядом существовало поселение Victoria Village. После отмены рабства экономика Лонг-Айленда опиралась на мелкое земледелие, соляные промыслы, рыболовство, мореходство и связи между разрозненными поселениями. В начале XX века архитектор-священник Джон Хоуз создал для города St Paul’s Anglican Church. После перехода в католицизм он разработал проект Sts Peter and Paul; официальный ресурс датирует проект 1939 годом, а начало строительства - 1946-м. Две башенные церкви превратились в главные ориентиры бухты. Сегодня Кларенс-Таун остаётся административным и морским узлом, но сохраняет сельский масштаб и следы сложной плантационной истории.