Каварскас впервые упоминается в 1486 году и развивался у дороги Укмерге-Аникщяй на правом берегу Швянтойи. Местная традиция связывает историю прихода с древней церковью и усадебными владениями, а муниципальный справочник отмечает известные этапы формирования поселения и прихода. Нынешний кирпичный костёл Святого Иоанна Крестителя построен в 1908 году и выделяется неоготическими формами. Главный природный символ города - источник Святого Иоанна Крестителя, который выходит на вершине холма и по легенде обладает целебной силой; официальные туристические материалы указывают подъём воды с глубины около 134 метров от уровня долины Швянтойи. Источник является охраняемым природным памятником и местом местных праздников. Культурный центр Каварска поддерживает концерты и летний цикл вокруг источника, а в 2022 году община получила статус малой культурной столицы Литвы, представляя Аукштайтию. Городской маршрут не стоит расширять до всех достопримечательностей Аникщяйского района: Каварскас лучше посещать как отдельную остановку с храмом, источником, рекой и подтверждённой культурной программой. Легендарные свойства воды следует отделять от проверяемых природных фактов.