Место развивалось на укреплённом холме, известном как Dún Lethglaise, в области, связанной с правителями Dál Fiatach. Средневековые анналы относят погребение святого Патрика к Down, однако детали ранней монастырской организации остаются предметом интерпретации. В XII веке нормандский правитель John de Courcy захватил регион, перестроил церковный центр и основал цистерцианское Inch Abbey после разрушения более раннего монастыря. В 1186 году мощи Патрика, Бригитты и Колумбы, согласно традиции, были торжественно перезахоронены в Down. Город стал средневековым административным центром графства, но войны и смена политической власти неоднократно нарушали его развитие. После Реформации старый собор пришёл в упадок; нынешний облик Down Cathedral в значительной степени связан с восстановлением конца XVIII - начала XIX века. County Gaol открылась в 1796 году и содержала участников восстания United Irishmen 1798 года; в 1803 году здесь казнили Томаса Рассела. Железная дорога Belfast and County Down Railway достигла города в XIX веке, улучшив торговлю и поездки, а пассажирское движение прекратилось в 1950 году. Музей открылся в бывшей тюрьме в 1981 году. С 1985 года добровольцы развивают музейную железную дорогу. Современный город остаётся административным центром и местом паломничества, где документированная история соседствует с живой традицией.