Римляне основали в долине форт Gobannium, охранявший дорогу и переправы в районе современного Абергавенни. После нормандского продвижения в Валлийские марки около 1087 года появился motte-and-bailey castle, ставший центром власти лордов. В 1175 году замок вошёл в историю из-за убийства валлийских знатных гостей по приказу Уильяма де Браоза, эпизода, усилившего длительный конфликт. Укрепление перестраивали, атаковали и восстанавливали; во время гражданской войны XVII века его части разрушили, чтобы не допустить военного использования. Поселение развивалось вокруг рынка, ремёсел и дорог между Уэльсом и английскими графствами. В 1818 году на вершине motte построили охотничий домик маркиза Абергавенни, где теперь размещается музей. Town Hall и нынешний Market Hall открылись в 1871 году, закрепив городскую торговую роль. Серия eisteddfodau 1835-1851 годов под покровительством леди Ллановер привлекала валлийских литераторов и европейских кельтологов. Железная дорога усилила связи с Cardiff и Marches. В XX-XXI веках город стал известной базой для прогулок и гастрономических событий, сохранив компактный рынок и самостоятельную валлийскую идентичность.