Церковь в честь Казанской Божьей Матери построена на средства прихожан в 1792 г. как зимний храм в Крестовоздвиженском приходе. Автор и строители неизвестны. Арзамасцы считали, что этот храм по формам и размерам напоминал московский Казанский собор.

До 1920 г. в храме находилась особо почитаемая древняя Казанская икона Божией Матери, принесенная в Крестовоздвиженскую церковь в XVII в. Ежегодно, начиная с середины VII в., в июле в честь этой иконы совершался крестный ход.

До 1887 года дом принадлежал помещице Полуэктовой. В 1887 году она предоставила его для расширяющейся женской гимназии.

Ранее гимназия находилась в доме Ханыкова на улице Прогонной, 11 и была училищем. Благодаря посредничеству Александра Николаевича Карамзина (сына знаменитого историка) и его жены Натальи Васильевны Оболенской, училище было принято под покровительство принцем Петром Георгиевичем Ольденбургским. В честь его дочери названо Екатерининским.

Открыт 30 декабря 1982 г. и располагается в старинном купеческом доме Подсосовых. Здесь с мая по сентябрь 1902 г. жил великий русский писатель Максим Горький (псевдоним Алексея Максимовича Пешкова), сосланный в Арзамас под гласный надзор полиции. В доме на улице Сальниковой он поселился с семьей: женой Екатериной Павловной, детьми Максимом и Катей и матерью жены М.А. Волжиной.