Себежские земли лежат на западной окраине Русского государства. Такое пограничное расположение отразилось на всей истории города. В сказании об Илье Муромце упоминается, что он «побил войска трех царевичей под градом Себежем», а первое упоминание находится в летописи 1414 года, где описывается город Псковской феодальной республики, который был разорен литовским князем Витовтом.

В 1535 году князь Шуйский основал деревянную крепость и назвал ее именем Иоанна Предтечи. С тех пор Ивангород-на-Себежи был важным укрепленным пунктом на литовской границе. В 1536 году крепость безрезультатно осаждали польско-литовские войска. В строках завещания Ивана IV (1572 год) город уже называется Себежем. В 1579 году им владела Польша, и в разные времена он принадлежал России и снова захватывался Польским государством. Во времена Северной войны Петр I приказал сделать из Себежа военный опорный пункт. В 1705 году на возвышенности выкопали глубокие оборонительные рвы. В 1772 году город, наконец, стал частью Российского государства, а с 1777 года — уездным городом Полоцкого наместничества. В 1796 году это был главный город Белорусской губернии, а с 1802 — Витебской.

В месте схождения границ России, Белоруссии и Латвии участники партизанского движения насыпали Курган Дружбы в память о братьях по оружию.