18 апреля 1536 г. был издан указ о строительстве Велижской крепости. «В лето 1536 повелением Великого князя Ивана Васильевича всея Руси поставили два града новые - город во Ржеве в Пустой Заволочье да город Велиж», — сообщает летопись. Работами рукоюдил воевода князь И. Барбашин. крепость использовали старое ородище на высоком левом берегу у Западной Двины при впадении в р. Велижка. Треугольная в плане территория городища имела площадь 3 га. же в июле 1536 г. на нем высилась розная дерево-земляная креость. Северо-западная ее сторона была защищена крутым берегом западной Двины. С востока протекал ручей Коневец, устье которого перегородили плотиной. Поднявшийся уровень воды затопил овраг глубиной до 15 м и шириной более 15 м, проходивший с южной и восточной сторон. Вдоль рвов, ручья и берега Двины были насыпаны валы, на которых и располагались заполненные землей дубовые срубы с заборолами, обмазанные глиной. Крепость имела девять башен, в том числе две проездные. Ее крутые склоны укрепили от оползания бревнами, уложенными поперек рвов.

Вблизи крепости устроили труднопроходимые засеки. С южной стороны поставили палисад из толстых бревен. Перед рвом шел березовый частик высотой по пояс человеку.
Велижская крепость, расположенная в труднопроходимой лесистой и болотистой местности, считалась одним из самых укрепленных пунктов на западной границе Русского государства и служила базой для войск, действовавших против Литвы.
Летом 1562 г. Велиж осадили войска гетмана Радзивилла. Они сожгли слободу, но крепость устояла. В 1566— 1569 гг. город постоянно подвергался вражеским нападениям. 5 января 1569 г. литовцы снова сожгли город, который вскоре был заново отстроен. Однако самые тяжелые испытания выпали на долю велижан в 1580 г. В Москве предвидели активизацию военных действий — королем Речи Посполитой, в которую вошло Великое княжество Литовское, стал энергичный Стефан Баторий. Гарнизон Велижской крепости увеличили до 700 человек. Летом 1580 г. гетман Я. Замойский во главе армии наемников двинулся вверх по Двине. Пушки доставлялись по реке, а пехота пробиралась через густой лес, прорубая в нем просеки, сооружая гати и мосты через болота. У самых стен Велижа пришлось расчищать широкие непроходимые засеки из поваленных деревьев.
Вечером 2 августа, соблюдая величайшую тишину, польские войска достигли Велижа. С рассветом они начали подготовку к штурму крепости. При появлении неприятеля жители слобод зажгли строения и спрятались за крепостными стенами. Наемники-венгры приступили к рытью шанцев, поляки — к рубке хвороста, чтобы забросать ров.
На пушечный огонь, который вели защитники Велижа, поляки ответили огнем своих батарей с применением каленых ядер. В крепости начались сильные пожары, и утром 7 августа она сдалась. Полякам достались богатые трофеи: 14 пушек, 80 гаковниц, ядра, порох, продовольствие. На следующий день С. Баторий прибыл в Велиж, чтобы осмотреть укрепления, мало пострадавшие во время штурма.
Причиной быстрого падения Велижской крепости стало малодушие воевод П. Брянцева и В. Башмакова, по существу, без боя сдавших врагу одну из самых сильных крепостей на литовском рубеже.
По Ям-Запольскому договору от 15 января 1582 г. все российские земли, захваченные С. Баторием, возвращались России, за исключением Велижа. Однако Польша заняла не только город, но и всю Велижскую волость, с чем российское правительство не согласилось. Длительность Велижского спора (1582—1609) свидетельствовала о важности Велижской крепости, защищавшей центральный участок польско-российской границы.
Под властью Польши Велиж находился до 1655 г. 4 октября 1654 г. царь Алексей Михайлович послал жителям Велижа грамоту, убеждая их сдать город без кровопролития, что и было сделано.
Сохранилось описание крепости 1655 г. На земляном валу стояли дубовые стены с восемью башнями, из которых две были проездными (северная Нижние большие ворота и южная Слободские ворота). Вдоль реки стояли четыре башни (Большая Угольная, Глухая, Свинка, Кривая). Две башни были обращены к ремесленной слободе (Тиунова и Загорная). В 1697 г. эта крепость сгорела от удара молнии.
По договору 1678 г. Велиж вновь перешелк Польше, а в 1772 г. окончательно вошел в состав России.