Каменный дом на улице Мостовой принадлежал купцу 1-й гильдии Степану Анисимовичу Панову; был выстроен им на купленной земле.

После смерти Степана Анисимовича Панова дом перешел в собственность его сына – Федора Степановича Панова. С 1863 по 1898 г. домом владели его дети: Михаил Федорович, Елизавета и Александра Федоровны. В 1901 г. собственниками дома значились уже только Елизавета и Александра Федоровны.

В 1914 г. дом принадлежал наследникам Михаила Федоровича Панова. Вероятно, дом оставался в их собственности до самой революции. В годы Гражданской войны в здании последовательно размещалось командование частей особого назначения, военно-революционный штаб, а затем – первый военный комиссариат города и уезда.

Усадьба Стрегулиных включала в себя: каменный двухэтажный дом с пятью помещениями в подвале, где хранилось пиво; три каменных флигеля; деревянный амбар, конюшню, баню и сарай. Кроме этого на территории усадьбы располагалась специальная «палатка», используемая как медоварня. В 1903 году в доме Стрегулиных располагалось «Арзамасское уездное по воинской повинности присутствие».

В первые годы советской власти дом не был национализирован и оставался в собственности семьи. Возможно, это было связано с тем, что в нем проживала врач Анна Ивановна Стрегулина-Вальтер, мобилизованная на борьбу с начавшейся эпидемией сыпного тифа.

Именно здесь в 1869 году останавливался по дороге в Пензу Лев Толстой. Его впечатления от ночевки получили название «Арзамасский ужас Толстого». Вот как писатель описывает их в «Записках сумасшедшего»: «...я устал страшно, хотелось спать и ничего не болело. Но вдруг на меня нашла тоска, страх, ужас такие, каких я никогда не испытывал».