История Андрос-Тауна связана с заселением Андроса, морскими путями и развитием Fresh Creek. До европейской колонизации Багамы населяли лукаяны; после контакта с Испанией их общины были разрушены, а архипелаг надолго обезлюдел. Позднее на Андрос переселялись жители других Багамских островов, семьи лоялистов и освобождённые люди, формируя небольшие прибрежные поселения с рыболовством, лесными промыслами и земледелием. Fresh Creek стал удобным естественным проходом с восточного берега внутрь острова, поэтому вокруг гавани возникли транспортные и хозяйственные функции. Старый маяк у входа в ручей помогал мореходам ориентироваться на сложном побережье. В середине XX века Lighthouse Club привлекал яхты и гостей из Нассау и Флориды, но развитие оставалось локальным. С 1970-х фабрика Androsia превратила традицию ручного батика в узнаваемый символ всего архипелага. В 2002 году был учреждён Blue Holes National Park, закрепив переход региона к природоохранному и экологическому туризму. Сегодня город сохраняет масштаб небольшого сообщества, а его история читается через гавань, ремесло и соседство с охраняемыми ландшафтами.