Церковь в честь Казанской Божьей Матери построена на средства прихожан в 1792 г. как зимний храм в Крестовоздвиженском приходе. Автор и строители неизвестны. Храм по формам и размерам напоминал московский Казанский собор.
В 1861 г. в Казанской церкви были выполнены ремонтно-строительные работы: для освещения хор в моленном зале устроены окна второго яруса, возведено новое завершение храма – восьмигранный барабан с шатром. В конце XIX в. надстроена алтарная часть. Прямоугольная постройка с симметричными алтарём и притвором украшена боковыми шестиколонными портиками. Декоративный барабан с шатровым куполом сооружён во 2-й половине XIX в. На хорах был устроен Успенский придел.
До 1920 г. в храме находилась особо почитаемая древняя Казанская икона Божией Матери, принесенная в Крестовоздвиженскую церковь в XVII в. Ежегодно в июле в честь этой иконы совершался крестный ход.
В 1928 г. решением Арзамасского горсовета обе церкви Крестовоздвиженского прихода были закрыты. До 1990-х гг. в здании в разное время находились Народный дом санитарного просвещения, дом пионеров, клуб. С 2003 г. отреставрированная церковь является действующей. В настоящее время первоначальный облик памятника несколько изменился.