Название Жарновицы связывают с жерновами - каменными кругами для мельниц; их производили для рудных и зерновых хозяйств долины Грона. Письменные сведения о городе и приходе относятся к XIV веку, когда поселение находилось на торговом пути между речной низиной и горными центрами. В 1343 году сюда перенесли сбор дорожной пошлины, что усилило значение места. Жарновица входила в состав Ревиштского панства, контролировавшего замок и дороги вдоль Грона. В 1480-1485 годах Урбан Доци построил в городе трёхэтажный позднеготический Нижний замок без башни; в мирное время он служил резиденцией рода и административным пунктом. Основной замок Ревиште на скальном отроге контролировал проход через долину, менял владельцев и неоднократно страдал от военных конфликтов. В XVI-XVII веках Жарновица пережила османские набеги и борьбу за власть в центральной Словакии; рядом развивались плавильные печи и переработка серебряных и свинцовых руд. В 1681 году город получил ярмарочные привилегии, а позднее стал связан с хозяйством Банской Штявницы. В 1739 году в Жарновицкой Гуте открыли двенадцать металлургических печей, работавших до 1873 года. Промышленная история продолжилась деревообработкой и предприятием Preglejka после Второй мировой войны. В 1848 году город пережил большой пожар, а во время Словацкого национального восстания жители поддерживали партизанское движение. Замок Ревиште окончательно пришёл в запустение после пожара 1792 года, вызванного ударом молнии, но его стены сохранились как лесной памятник. Сегодня Жарновица сочетает современный быт, замковое наследие рода Доци и ландшафт Грона.