Средневековый Варберг возник у крепости, основанной графом Якобом Нильсеном в конце XIII века. Территория Халланда принадлежала Дании, и укрепление контролировало морской путь и пограничный регион. Поселение несколько раз переносилось после войн и пожаров; нынешний центр закрепился восточнее крепости в XVII веке. По Роскилльскому миру 1658 года Халланд окончательно вошёл в Швецию, а крепость постепенно потеряла пограничное значение и использовалась как тюрьма. В XIX веке Варберг превратился в курорт: морские ванны, лечебные учреждения и железная дорога привлекали отдыхающих. Несколько холодных купален уничтожали штормы; сохранившееся Kallbadhuset построили в 1903 году в ориентализирующем стиле. Рыболовство, порт и каменная промышленность дополняли экономику. В 1920-х годах рядом возвели длинноволновую радиостанцию Grimeton, ныне объект ЮНЕСКО. Современный город сохраняет крепость и купальную культуру, одновременно развивая серфинг, веломаршруты и железнодорожную инфраструктуру западного побережья.