Собор был заложен в 1801 году и строился 10 лет. Скульптура Казанского собора создана по моделям С.С. Пименова, И.И. Прокофьева, В.И. Демут-Малиновского, И.П. Мартоса, автора известного памятника "Минину и Пожарскому" в Москве. В 1813 году в соборе был захоронен Михаил Илларионович Кутузов. В 1837 году на площади перед собором установлены памятники М.И. Кутузову и М.Б. Барклаю де Толли, работы замечательного скульптора Б.И. Орловского.
В советское время в Казанском соборе находился Музей истории религии и атеизма.