В связи с нападением Литовского войска на северские города в 1534-1535 гг. воеводой И.Н.Бутурлиным по указу Ивана IV в 1535 г. была построена дерево-земляная крепость на острове в оз.Себежском, которая была возведена за 1 месяц с 29 июня по 20 июля и внутри крепости постреоны деревянная церковь и жилые постройки. В 1536 г. 27 феввраля под стенами Ивангорода потерпело поражение 20-ти тысячное польско-литовское войско, направленное польским королем Сигизмундом I для захвата крпеости. В 1539 году оборонительные сооружения были усилены земляной присыпкой, устроенной под руководством Петра Фрязина, который получил заданаие в Москве построить в Себеже каменную крепость, но указания этого не выполнил. К тому времени за пределами крепости на берегах острова и частично на материке вырос городской посад. В 1541 году Себежский посад на острове был окружен деревянной стеной длиною более 400 м. с деревянными башнями - возникла 2-я Себежская крепость. В этом же году польско-литовское войско вновь предприняло безуспешную попытку захватить Себеж. В 1560 г. по инициативе поляков в Себеже было организовано восстаное местных польских жителей и "панцырных бояр", устроивших пожар в городе, от которого постарадали деревянные укрепления. В 1562 году поляки сожгли 2-ю Себежскую крепость и деревянный монастырь, существовавший в Иваногороде с XV в., но вскоре крепость была восстанволена и расширена. В период Ливонской войны ( до 1582 года( крепость неоднократно переходила из рук в руки, вновь восстанавливалась, горела и т.д. После Ливонской войны по описанию, составленному в 1583-84 гг. писцами Мещаниновыми-Морозовыми и Дровниным, Себежская крепость представляла собой учатки кремля с земляными укреплениями и Окольным городом окруженным деревянною стеною протяженностью около 1500 м. с 5-ю воротами, вокруг города был устроен частокол. За окольным городом располагался торг, к которому вели улицы застройки за пределами крепости. В 1616 г. Себеж, Невель и Копысь были проданы полякам, в 1625 году в Себеже был посроен монастырь базилианок, здание каменного костела которого сохранилось по наши дни. По поляновскому миру 1634 г. Себеж отшел к литве. присоооединение Украины к России вызвало войну с Польшей, в ходе которой в 1654 г. Себеж был завоеван русскими войсками, но по условиям Андрусовского перемирия 1677 г. вновь отдан Польше. В 1705 г. город заняли войска Петра I., но окончательно в состав русского государства Себеж вошел в 1772 году после первого раздела Польши.