В эпоху мусульманского правления Силвеш был столицей королевства Алгарве и его важнейшим городом; выгодное положение на судоходной тогда Араде поддерживало торговлю и связи с морем. На холме сформировались укрепления из красного песчаника, а в городской ткани появились мечеть, рынки и водная инфраструктура. В 1189 году город ненадолго захватили силы Саншу I при поддержке крестоносцев, но мусульмане вернули его. Окончательное христианское завоевание произошло в 1249 году при Афонсу III. Главную мечеть преобразовали в собор, а крепость приспособили к новой власти. Позднее заиление реки и рост прибрежных городов ослабили значение Силвеша. Именно поэтому сегодня здесь хорошо заметен контраст между бывшей столицей и тихим историческим городом Алгарве. Археологические находки и цистерна музея сохраняют память о городской воде и быте, а ежегодная ярмарка возвращает улицам средневековые сюжеты.