Замок на скальном отроге Дейстер появился в средневековый период, чтобы контролировать движение через долину Урты. В XII веке он связан с графом Генрихом Слепым, укреплявшим торговый проход через Арденны. С развитием артиллерии старые стены перестраивали; в XVII столетии французские войска использовали крепость и изменяли её по новым фортификационным принципам. Позже военная роль исчезла: в XVIII веке постройки пришли в упадок, а местные жители брали из них камень. В XIX веке руины стали живописным знаком города для путешественников. Зима 1944-1945 годов принесла Ла-Рошу новые разрушения во время битвы в Арденнах; значительная часть городских домов была уничтожена. Послевоенное восстановление объясняет соседство древнего замка, обновлённой застройки и музея военной памяти.