Побережье залива Энкаунтер связано с традиционными владельцами - народами нгарринджери и раминджери. В 1802 году у побережья встретились экспедиции Мэттью Флиндерса и Николя Бодена. В 1839 году к Энкаунтер-Бей прибыла первая постоянная группа поселенцев, а в середине XIX века район участвовал в торговле шерстью и зерном, которые доставляли из бассейна Муррея. После аварий в Порт-Эллиоте железную дорогу продлили к более защищённой гавани у Виктор-Харбора; пирс открыли в 1864 году. Линию по дамбе к Гранитному острову сначала использовали для грузов, а пассажирский конный трамвай начал работу в 1894 году. Когда железные дороги изменили речную торговлю в 1890-х, город всё заметнее превращался в место отдыха. Сегодня портовую историю напоминают набережная, трамвай, Railway Goods Shed и музейные пространства. В 1975 году объединили District Council of Encounter Bay и Corporation of Victor Harbor, сформировав современный совет. Сохранённые здания и действующий трамвай позволяют читать эту историю непосредственно в городской среде, а не только в архиве.