Одиннадцать эпох одного дворца — от каменицы бурмистра XVIII века через лазареты, штабы и гетто до реставрации и возвращения к жилью.
Лавник магистрата Якуб Рафанович строит каменный дом на пепелище усадьбы Радзивиллов, сгоревшей в пожарах 1750–70-х. Здание впервые видно на плане города 1795 года — это и есть его сохранившийся основной объём.
Простой прямоугольный корпус без декора — парадность дому давала высокая черепичная крыша.
1815 год: дом судьи Станислава Лесковича приспособлен под временный лазарет. С 1822 года им владеет полковник Александр Светчин — здание идёт под военный постой почти на девяносто лет вперёд.
В 1829-м пристроены каменные конюшни и сараи — будущий замкнутый двор. Само здание при этом в аварийном состоянии: крыша проваливается, окон и стёкол нет. Ремонт под холерный лазарет 1831 года так и не начался. Несмотря на это, к 1848 году дом всё же отремонтировали: здесь разместились дворянское депутатское собрание и канцелярия губернского предводителя дворянства, а по плану 1864 г. дом уже значился как «дом Свечиновой» — позже здесь размещались штаб 101-го пехотного пермского полка, казармы резервного батальона и съезд мировых судей.
«Дом этот подмыт дождями уже до той ступени, што видны даже его фундаменты, вся крыша из-за неаккуратности и трухлявости начинает проваливаться внутрь здания, в котором уже с давнего времени нет ни крыши ни окон. Здание это будто оставили специально для бесхозяйственности города» — акт осмотра, 1829
Дворянское депутатское собрание, «дом Свечиновой» (план 1864 г.), затем — штаб 101-го пехотного пермского полка, казармы резервного батальона, съезд мировых судей.

Пристроен третий этаж — тот, что формирует нынешний силуэт дома; почти до 1930-х он остаётся неоштукатуренным. К 1904 г. — «соборный дом», к 1913-му — «дом Софийского братства» с церковно-приходским училищем.

Февраль 1915: в доме 2-й полевой лазарет 8-й пехотной дивизии. 28 марта 1920 года здесь проходит собрание Гродненского национального комитета, осенью — белорусские вечера и запись в Громаду молодёжи.

Дом (тогда № 3) принадлежал Гродненскому православному братству; здесь жил деятель М. Головач. Работали магазины Т. Троп и П. Парай, портные Баран и Окунь, представительства «Związek kupców» и пивзавода Okocim.

В здании работал юденрат — орган, через который оккупанты принуждали еврейское население к сборам и повинностям. Возглавлял его доктор Давид Бравер. При ликвидации гетто на чердаке скрывались люди. В 1944-м, при освобождении города, здание пострадало и лишилось крыши.

После войны дом отремонтирован — тогда и появились балконы с фронтоном, узнаваемые сегодня. Разместились спиртотрест, леспромхоз, облстройтрест (с 1947 г. — в ведении МВД БССР), позже — торгово-кулинарная школа.

Больше пятидесяти лет дом — студенческое общежитие Гродненского медицинского университета. Самая долгая по времени страница его истории.

Сегодня дом получает вторую жизнь — впервые за долгое время не как казарма, лазарет или общежитие, а снова как жильё. Реконструкция бережно сохраняет исторический П-образный силуэт: руст первого этажа, наличники второго, фронтон и арку проезда, через которую заходили ещё во времена Рафановича. Хозяйственные постройки XIX века предлагается воссоздать, чтобы двор, начатый в 1829 году, наконец сомкнулся — и Замковая, 5 продолжила свою историю уже не как памятник, а как дом.