Химэдзи развивался как центр провинции Харима задолго до появления замка. Его раннюю крепость связывают с Акамацу Норимурой и 1333 годом, а строительство замка на холме Химэяма - с Акамацу Саданори и 1346 годом; эти средневековые события известны по поздней исторической традиции. Нынешний замковый облик формировался после объединения страны. В конце XVI века Тоётоми Хидэёси расширил крепость, затем Икэда Тэрумаса перестроил её в начале эпохи Эдо и создал сложную систему башен, стен и ворот. Замок пережил смену владельцев, реставрацию Мэйдзи и попытки продать его как военный объект. Во время Второй мировой войны город бомбили, но белая крепость избежала разрушения. В послевоенные десятилетия деревянные конструкции проходили крупные реставрационные циклы, а в 1993 году замок включили в список Всемирного наследия ЮНЕСКО. Развитие синкансэна превратило Химэдзи в заметную остановку между Кобе и Окаямой. Сад Коко-эн появился в конце XX века как культурный парк рядом с историческим ядром, а Энгё-дзи на горе Сёся сохранил многовековую монастырскую линию. Сегодня город балансирует между массовыми однодневными визитами, сохранением деревянной ткани и жизнью обычного регионального центра.