Сууре-Яани формировался как центр одноимённой церковной и торговой волости. Каменная церковь Святого Иоанна была построена в XIV веке, а позднее пережила разрушения Ливонской и Северной войн; после пожаров её деревянное перекрытие восстановили в 1767 году. В конце XIX века храм получил неоготическое оформление, но сохранил старый органный корпус 1804 года и крест 1598 года. Городская культурная история тесно связана с семьёй Каппов: композиторы Йоозеп, Ханс, Артур, Эуген и Виллем работали здесь и сформировали заметную часть эстонской музыкальной традиции. Дом-музей открыли в 1971 году, а в доме Виллем Капп написал значительную часть произведений. С 1998 года летний музыкальный фестиваль продолжает эту линию публичными концертами. После административной реформы Сууре-Яани вошёл в волость Пыхья-Сакала, сохранив статус местного центра. Сегодня озеро, церковь и музей позволяют увидеть город одновременно как религиозный, музыкальный и природный узел северной Вильяндимаа.