Церковь в честь Смоленской иконы Божией Матери была построена в 1703 году на деньги арзамасского купца Ивана Васильевича Масленкова. Это был почитаемый в Арзамасе человек, духовный друг иеромонаха Иоанна, основателя Саровской пустыни. Последний говорил, что Иван Васильевич был «муж в разуме зело искусен и по премногу рассудителен и во всем полезен, паче же в духовных».
В 1797 году на месте прежнего Смоленского храма была построена и освящена просторная каменная церковь с тем же именем с двумя приделами. Первый — в честь апостола и евангелиста Иоанна Богослова, второй — в честь святого благоверного князя Александра Невского и преподобного Александра Свирского. Храм строился на средства «благочестивых богачей» Масленковых, Корниловых, Быстровых.
В 1932 году храм был закрыт, а затем разрушен. В 2011 году началось восстановление Смоленской церкви.
14 августа 2016 года, в день празднования Происхождения (изнесения) Честных Древ Животворящего Креста Господня митрополит Нижегородский и Арзамасский Георгий совершил чин Великого освящения храма в честь Смоленской иконы Божией Матери.
16 августа 2017 года митрополит Георгий совершил чин Великого освящения придела в честь святого благоверного князя Александра Невского и преподобного Александра Свирского храма в честь Смоленской иконы Божией Матери на подворье Свято-Троицкого Серафимо-Дивеевского женского монастыря.