Каркси впервые развивался как важный пункт древней Каркси-Халлистеской долины, а в позднем Средневековье здесь сформировался укреплённый центр Ливонского ордена. Строительство крепости началось во второй половине XIII века, каменные части создавались в XIV-XV столетиях. После войн оборонительное значение комплекса исчезло, а в 1770-х годах в пределах руин построили церковь Святого Петра; рядом сохранилась часовня рода Лиевен 1730 года. Современный Каркси-Нуйа вырос в XIX веке возле таверны Нуя и перекрёстка дорог, постепенно став торговым центром местности. В XX веке город пережил смену административных границ и советскую индустриализацию, но сохранил связь с Мульгимаа. В 1993 году он получил статус города, а после реформы входит в волость Мульги. Сегодня старые стены, наклонная башня церкви и культурные символы Мульгимаа напоминают, как военный и дорожный пункт превратился в небольшой региональный центр.