Кастр вырос вокруг бенедиктинского монастыря, связанного с реликвиями святого Vincent, и к Средневековью стал важным пунктом на путях южной Франции. Название связывают с castrum, укреплённым местом. Река Agout поддерживала мельницы, кожевников, ткачей и красильщиков; дома мастерских формировали необычный речной фасад. В 1317 году Castres стал епископской кафедрой. Во время Реформации город превратился в сильный протестантский центр и пережил религиозные конфликты; после укрепления королевской власти стены разобрали, а католические учреждения перестроили городской образ. В конце XVII века епископ Michel de Tubœuf инициировал новый дворец и собор Saint-Benoît; дворец связывают с архитектурой Jules Hardouin-Mansart, сад - с замыслом André Le Nôtre. В XIX веке текстильная промышленность, торговля и железная дорога расширили город. Здесь в 1859 году родился Jean Jaurès, ставший крупным социалистическим политиком, журналистом и защитником мира. Коллекционер Marcel Briguiboul завещал городу испанские произведения, заложив основу Musée Goya. XX век принёс промышленную перестройку, сильную культуру регби и развитие фармацевтики вокруг Pierre Fabre. Современный Кастр сохраняет исторический центр и использует Évêché как mairie и музейный комплекс.