Тяжелейшие потрясения пережил в Смутное время лежащий западнее Вязьмы Дорогобуж. Он был захвачен войском королевича Владислава и по Деулинскому перемирию 1618 г. оставлен за Польшей. В ходе Смоленской войны 1632 — 1634 гг. русское войско отбило город у поляков и превратило его в главный опорный пункт в борьбе за Смоленск. В это время крепость была окружена рублеными деревянными стенами протяженностью более 1,5 км. Она насчитывала по крайней мере 13 башен с бойницами среднего и верхнего боя. Крепость имела 34 пушки. Для ее защиты требовалось 2 644 человека.
В октябре 1633 г. крепость выдержала четырехдневную осаду, однако по Поляновскому миру 1634 г, отошла к Польше, которая владела городом двадцать лет. В 1654 г. вместе с другими смоленскими землями Дорогобуж окончательно вошел в состав России. В сентябре 1685 г. дорогобужскому воеводе К. Воеводскому было указано строить в городе новую крепость. О ней сохранились достаточно подробные сведения в рос-писных списках 1680— 1690-х гг.
К началу 1687 г. заново срубленные укрепления поставили на месте старой, обветшавшей крепости. Они, по всей видимости, в какой-то мере копировали их. Этим, вероятно, можно объяснить своеобразную планировку Дорогобужской крепости, не имеющей аналогов в русском оборонном зодчестве.
Она состояла из трех частей, которые с литовских времен назывались замками. Расположенный на вершине холма детинец (Верхний город) составлял наиболее возвышенную, южную часть крепости. Рубленые стены, поставленные на насыпной вал, имели протяженность около 400 м и кольцом опоясывали холм. Кроме того, со всех сторон, за исключением северной, детинец защищал широкий и глубокий ров. Верхний город имел пять башен: по одной на восточной, южной и западной сторонах и две — на северной. Южная башня, именуемая Спасской, была проездной, в плане восьмиугольной, к ней вел перекинутый через ров мост. Стоявшая на восточной стороне восьмиугольная Вестовая башня имела вестовой колокол. В первой половине XVI в. на ней установили часы. Остальные три башни были четырехугольными.
Северный склон холма занимал Средний город. Он не был большим по площади, являясь как бы связующим звеном между детинцем (Верхним городом) и располагавшимся севернее и ниже у берега Днепра Нижним городом. Стены этого своеобразного китай-города шли от Вестовой и Козмодемьянской башен детинца, спускаясь по крутым склонам к подножию холма. Здесь стояла северная рубленая стена Среднего города, усиленная Пятницкой башней, а также чя так называемыми «отводными (выводными) боями» с восточной и западной сторон. Являясь продолжением северной стены, полукольцом охватывали с двух сторон самую уязвимую нижнюю часть склона и имели по отводной стрельнице.
Нижний город занимал территорию от северной стены Среднего города до берега Днепра. Он был защищен четырьмя глухими четырехугольными башнями. Проехать в крепость можно было через восточную Московскую проезжую башню и через западную Смоленскую.
Отличительная особенность Дорогобужской крепости — наличие большого числа подземных ходов - тайников. Помимо традиционного тайника из Тайничной башни к Днепру за водой, существовал тайник из «выводного Пятницкого боя», тайник из четырехугольной глухой башни Нижнего города на западной стороне, тайник из Нижнего города в Средний, тайник из Среднего города в Верхний.
Несмотря на отсутствие непосредственной военной угрозы, крепость в Дорогобуже существовала и в XVIII в. В это время она включала Верхний город, стоявший на валу высотой 17 —20 м, и еще одно укрепление. Это был. типичный острог: на земляном валу высотой около 6 м и протяженностью 8,6 км стоял частокол из вертикально стоявших заостренных бревен. Острог защищал более тысячи строений.