Но недолго возродившейся церкви было суждено жить спокойной и мирской жизнью. Во времена повсеместного разгрома православной церкви храм был сначала просто закрыт, а позже полностью разграблен и разворован. Бесследно исчезли иконы, алтарные книги и произведения искусства, которые до сих пор представляют важную историческую и художественную ценность. И только в 1944 году после принятия государственного положения «О порядке открытия церквей» в храме, который на тот момент выполнял функцию военно-партийного клуба, начались первые реставрационные работы. Но и эти работы продлились не долго и завершились восстановлением всего одного из пяти куполов, на котором установили крест. В таком виде церковь просуществовала до 1961 года.



После очередных изменений политики партии в отношении религии, здание церкви вновь отбирается уже на долгих 30 лет. Верующим и прихожанам выделяются грязные и необжитые складские помещения неработающего хлебного завода далеко за окраиной города, а территорию церкви отдают детской спортивной школе. В самом же храме оборудуют спортивный зал. В 1989 году было принято решение о создании на базе церкви краеведческого музея, в котором планировалось собрать все легенды и сказания о родном городе, о его основателях и героях, экспонировать находки древности и предметы старины. Но из-за вновь изменившейся политической обстановки реализовать эти планы так и не получилось.