Средневековый Яромерж вырос у речных переправ, а его гражданский центр сохранил готическую церковь Святого Николая. После утраты Силезии и Кладско австрийские власти решили укрепить северную границу: 3 октября 1780 года при Иосифе II заложили крепость у деревни Плес. Примерно через семь лет её подготовили к обороне; в 1793 году укреплённый город получил имя Йозефов. Прусские войска в 1866 году обошли крепость, и в 1888-м она утратила военное значение. Железная дорога тоже изменила город: первый поезд пришёл на станцию Йозефов-Яромерж в октябре 1857 года, а вскоре открылось сообщение с Пардубице. В 1910-1911 годах по проекту Йозефа Гочара построили универмаг Венке, нынешний городской музей. В 1948 году Йозефов и Яромерж административно объединили.