До появления города местные маори пользовались путями между южными равнинами, побережьем и островами. В 1853 году состоялась передача британской короне земель Мурихику, а в 1856-м геодезист Джон Тёрнбулл Томсон выбрал и распланировал место будущего Инверкаргилла. Название предложили в честь Уильяма Каргилла, суперинтенданта Отаго; первоначальный план выделял широкие улицы и резерв земли под будущий Куинс-парк. Участки начали продавать в 1857 году, затем рост поддержали золотая лихорадка Отаго, овцеводство и молочное хозяйство Саутленда. Порт Блафф стал выходом региона к морю, но остался отдельным поселением. В 1906 году открылся городской театр, позднее транспорт и промышленные коллекции закрепили особую культурную тему Инверкаргилла. Бывший Southland Museum закрылся в 2018 году из-за сейсмических требований; на его месте строят Te Unua, открытие которого городской совет планирует на 2027 год.