В старую часть города можно войти через ворота Баб Диван, которые являются главным входом с южной стороны. Созданные в начале XIV в., они не раз подвергались реконструкциям и реставрациям. Последние подобные работы проводились в прошлом столетии.

Когда-то город мог похвастаться наличием только пары ворот: Баб Джебиль открывали вход с севера и Баб Диван — с южной стороны. Украшенные ковкой ворота плотно запирались на ночь, охраняя Сфакс от вражеских набегов.

Баб Диван были установлены на последнем этапе строительства стен — в IX в. В эпоху Аглабидов стены служили заметным ограничением для растущего населения города. Но современный Сфакс разросся далеко за пределы, установленные предками.

Ранее за стенами произрастали оливковые рощи, орошаемые древнеримской ирригационной системой. Теперь за городским пейзажем можно наблюдать из милого кафе в мавританском духе.