До колонизации территория была страной народа Ngunnawal и соседних общин. Европейские пастухи пришли в начале XIX века, а поселение Гоулберн официально основали в 1830-х годах, назвав его в честь министра Генри Гоулберна. В 1860-х железная дорога связала город с Сиднеем и резко ускорила торговлю шерстью, зерном и скотом. Соборы, Court House и банки сформировали городской облик викторианского периода. В XX веке здесь развивались железнодорожные мастерские, больницы и образовательные учреждения, а роль сельского сервисного центра сохранилась. Мемориал Rocky Hill открыли после Первой мировой войны, соединив местную память с панорамой Южного плоскогорья. В 1985 году у дороги появился Big Merino, рекламировавший региональную шерсть. Сегодня Гоулберн бережно использует эти слои в heritage-маршрутах, музеях и культурных событиях, не превращая город в декорацию. Архитектура вокзала и общественных зданий сохраняет видимые следы этого перехода от пастбищ к современной региональной жизни.