Стратегическое местонахождение Силвиша способствовало тому, что поселение получило безупречное укрепление. Римляне возвели здесь замок, но рассвет города пришелся на время правления арабов — тогда Силвиш стал мавританской столицей. Арабский географ ал-Идриси в середине XII ст. восторгался красотой города и его «замечательным, вкусным» инжиром.

Силвиш славился как культурный центр арабского Ал-Граба, до тех пор, пока в 1242 г. рыцари ордена Сантьяго не завоевали город.

Ныне красные стены замка контрастируют с синевой неба.

Неподалеку от замка, в Fábrica di Inglés (Английская фабрика) находится Музей пробки, Museu da Cortica, знакомящий с историей изготовления пробки в Португалии.

На востоке от Силвиш расположен Cruz de Portugal (Португальский крест) — гранитный крест XVI в. Предположительно, его подарил городу Мануэл I, когда тело Жуана II из Собора Силвиша было перевезено в Баталью. Стороны креста декорированы филигранной резьбой — сюжетами Распятия и Снятия с креста.