Gọi nhà thờ Lớn vì đây là thánh đường lớn nhất Hà Nội. Xây dựng trên đất cũ của chùa Báo Thiên, công trình do Giám mục Puginier thiết kế và giám sát, khởi công năm 1884 và khánh thành vào Giáng sinh năm 1887 với tên gọi nhà thờ Thánh Giuse (Saint Joseph, được Giáo hoàng tôn phong là thánh bảo trợ nước VN).