Подзамковое поселение письменно упоминается в 1272 году, а сам замок и владения предков Balassa - в документах 1278 и 1290 годов. Род Balassa почти шесть столетий владел крепостью и развивал поселение у её подножия. В 1658 году Bálint Balassa добился для города рыночного права, шести ежегодных ярмарок и еженедельных торгов, что поддержало ремёсла и население Novohrad. Во время восстания Ракоци замок использовали как убежище местной знати. В 1709 году отступавшие куруцы подожгли крепость; верхняя часть осталась руиной. В 1730 году Pavol II Balassa и его мать Mária Perényi построили на предзамковом укреплении трёхкрылый барочный kaštieľ, а в 1759 году к нему добавили часовню святой Анны. Вероятно, тогда же возникла kalvária на соседнем возвышении. В XIX веке Модри-Камень ненадолго стал центром слу́жновского округа, а в 1923 году замок перешёл чехословацкому государству. Позднее комплекс получил музейное назначение: в барочном kaštieľ разместили коллекции театральной куклы, игрушек, истории региона и зубной техники. Современная жизнь города остаётся небольшой, но замок и музей формируют устойчивый культурный маршрут.