Владельцев у нее было несколько – Цыбышевы, Ступины. В 1877 году усадьбу приобрел купец Алексей Сергеевич Вязовов. В наши дни он так и именуется во всех официальных реестрах – дом Вязовова. Сын Вязовова был болен туберкулезом и жил уединенно в мансарде, именно для него отец выписал из Германии цейсовский телескоп.

Любопытна архитектура оставшихся строений: каменный дом по уличному фасаду двухэтажный с высоким фронтоном, украшен четырьмя старинными полуколоннами; с дворовой стороны – четырехэтажный, завершен деревянной обсервационной башней с подвижным раздвигающимся куполом для телескопа.

С 1918 по 1961 год второй этаж усадьбы занимала центральная библиотека имени Максима Горького. К 1935 году на базе детского отделения на первом этаже была создана детская библиотека, которая в 1947 году получила имя Аркадия Гайдара.

В 1935 году в последний свой приезд Аркадий Гайдар на встрече с читателями подарил библиотеке десять экземпляров своего произведения «Военная тайна». В 60-х годах здесь размещалось музыкальное училище, которое впоследствии сменило адрес.