Chùa Ngô Xá được khởi dựng từ thời nhà Lý, dưới triều vua Lý Nhân Tông (1072-1127). Ban đầu, chùa nằm trên đỉnh núi. Theo văn bia niên đại Cảnh Trị thứ 8 (1670) tại chùa Ngô Xá cho biết: “Đầu triều Lý có ba bà Hoàng hậu xây chùa thờ Phật, xung quanh có 8 tòa nằm ở trên đỉnh núi. Trung tuần tháng 2 năm Đinh Hợi (1107) nhà vua ngự tới thăm chùa này”.
Sau khi quân Minh xâm lược, chúng đã phá hủy toàn bộ công trình kiến trúc chùa và tháp Chương Sơn chỉ còn có tượng phật bằng đá ở tầng thứ hai giữa đỉnh núi. Trải qua các thời kỳ lịch sử, di tích đã được trùng tu, tôn tạo nhiều lần.
Lần đầu được tiến hành vào những năm 1667-1669, dưới thời Chúa Trịnh Tùng, do Vương Phủ Thị Nội là Lương Thị Ngọc Vinh cùng chị gái góp tiền xây dựng lại. Khi ấy, ngôi chùa gồm các hạng mục công trình: thượng điện, thiêu hương và bái đường. Các hạng mục đều được làm bằng gỗ lim, mái lợp ngói nam, chạm trổ rất tinh xảo. Công trình được xây trong ba năm thì hoàn thành (1667-1669).
Tiếp đó, vào năm 1757, 6 gian chùa được tu sửa nhờ công quả của vợ chồng ông Trần Thiết Cần và vợ là bà Ngô Thị Dậu. Đến thời Nguyễn, thiền sư Thiềm Quang (quê Thiêm Lộc, nay là xã Yên Chính) về tu hành, đã “cho tu sửa lại Tiền đường, Hậu điện và mời thợ về tô son thếp vàng lại tượng pháp” và di chuyển ngôi chùa từ trên đỉnh núi xuống phía Nam sườn núi như hiện nay.
Một di tích có bề dày lịch sử như vậy, nhưng kể từ khi sư tổ của chùa tham gia hoạt động cách mạng, và bị giặc Pháp đánh bị trọng thương rồi sau đó viên tịch tại đây vào năm 1948 thì chùa không có nhà sư tiếp quản trụ trì. Dân làng phải cắt cử người ra trông coi chùa. Năm 2005, Ban trị sự Phật giáo tỉnh Nam Định (Ban trị sự GHPGVN tỉnh Nam Định) đã công cử đại đức Thích Giác Vũ – Phó Trụ trì chùa Vọng Cung TP Nam Định về đây trụ trì và phục vụ tín ngưỡng cho nhân dân.
Sau khi nhận chùa, sư trụ trì cùng với dân làng đã xây dựng tổ đường (năm 2006), xây tháp tổ và tượng quan âm bồ tát (năm 2007), xây nhà khách (2008), xây cổng tam quan (năm 2010), xây dựng nhà mẫu (năm 2012), tu bổ chùa chính, nhưng vẫn giữ nguyên kiến trúc cổ…
Ghi nhận của phóng viên Gia đình và Xã hội, chùa chính được dựng ở sảnh chính bằng gỗ lim, ngói cổ. Trước cửa chùa là hàng cây cảnh từ lâu đời. Chùa có niên đại từ thời nhà Lý.
Phía bên cạnh đình là một ngôi nhà thờ mẫu. Người dân cho biết, hiện trụ trì chàu đang xin các cấp có thẩm quyền tu sửa, phục hồi lại hiện trạng của chùa. Vì trước kia nhiều hạng mục xuống cấp phải cắt đi xây dựng lại.
