Название Анс-ла-Рей связывают со скатами, которые встречались в бухте. До колониального периода берег был частью мира коренных народов Карибского моря, а с приходом французских и британских поселенцев окрестности разделили между плантациями и небольшими рыбацкими поселениями. Церковные записи Сент-Люсии упоминают часовню в Анс-ла-Рей уже в XVIII веке; позднее на её месте сформировалась приходская традиция Nativity of the Blessed Virgin Mary. Каменная или оштукатуренная церковь, построенная в 1907 году, стала заметным ориентиром деревни. Две реки, впадающие в бухту, поддерживали пресную воду и плодородные участки, но жители постепенно всё сильнее зависели от рыболовства и прибрежной торговли. В XX веке Анс-ла-Рей переживала ураганы, перемены в сельском хозяйстве и отток молодёжи, сохраняя при этом плотную соседскую жизнь. Современная история туризма связана с программами village tourism: набережную стали использовать для культурных мероприятий, лодочных экскурсий и местной кухни. Fish Fry вырос из традиции делиться уловом и превратился в регулярный вечерний праздник, который приносит доход поварам, музыкантам и рыбакам. Сегодня деревня остаётся живым поселением, где туристический интерес строится на повседневной работе, а не на реконструированной декорации.