Nguyên cách gọi tên chùa Phật Tổ là do sự tôn kính từ lâu đời của người dân vùng Cà Mau với vị Hòa thượng lập dựng chùa: Hòa thượng Thích Trí Tâm.
Vào khoảng năm 1840, vùng Cà Mau còn là vùng đất lau sậy, hoang sơ. Người dân địa phương kể rằng, thời đó có chàng trai Tô Quang Xuân đi lấy củi trong rừng, khi rìu bổ vào thân cây Bồ đề cổ thụ thì thấy lộ ra một quyển kinh Phật đặt ở gốc cây. Từ đó chàng trai dựng am vừa tu vừa bốc thuốc chữa bệnh cho dân bên bờ kênh Quản Lộ. Tô Quang Xuân tụng kinh Kim Cương cảm hóa được thú dữ. Thiên hạ biết tiếng kéo đến xin thuốc và học đạo rất đông.
Về sau, nhờ người dân đóng góp tài vật, Tô Quang Xuân dựng được một ngôi chùa bằng lá đơn sơ. Thấy vậy, hương hào Đỗ Văn Viễn trong vùng ghen ghét đã vu cho ông là gian đạo sĩ. Ông bị quan trên bắt về Sài Gòn (nay là Tp.Hồ Chí Minh) quản thúc.
Nhưng đạo hạnh của Tô Quang Xuân đã làm các quan trên kính phục. Khi được giải về Huế, ông thọ giới xuất gia ở chùa Kim Chưởng. Các vị cao tăng đã trình lên vua nhà Nguyễn (năm Thiệu Trị thứ 2 – 1842) và vua đã xuống chiếu sắc phong cho ngôi chùa của ông có tên gọi là “Sắc Tứ Quan Âm Cổ Tự”.
Sau khi thọ giới được 7 ngày, ông mất tại chùa Kim Chưởng. Ông được phong Hòa thượng, pháp danh là Thích Trí Tâm, được ban gấm vóc và đưa về tận quê ở Cà Mau. Từ đó, dân trong vùng tôn kính ông nên đã gọi ngôi chùa là chùa Phật Tổ.
Mái chùa hình quả ấn, lợp ngói máng, kiến trúc sắc nét, mô phỏng mái đình ở vùng đồng bằng sông Cửu Long. Mái được chia thành phần nóc chính và mái nghi môn. Phần nóc chính thể hiện giá trị nghệ thuật đặc sắc của ngôi cổ tự với hình lưỡng long tranh châu cách điệu, bên dưới là phù điêu, hình ảnh mô tả cảnh thiên nhiên. Mặt chính trên nóc chùa đề 6 chữ: “Sắc Tứ Quan Âm cổ tự”.
Những đường cong ở đầu đao mái chùa thể hiện cảnh cá hóa rồng làm bằng xi măng ốp sứ cách điệu, dáng vẻ độc đáo. Mái nghi môn ở tầng thấp hơn lợp ngói máng, có họa tiết sống động và đề 4 chữ: “Quan Âm Cổ tự”. Bên trên cửa ra vào có hoa văn hình chữ Thọ trang trí mặt tiền Chính điện. Hai mặt ngoài vách Chính điện có những hình vẽ tôn thêm vẻ cổ kính.
Từ ngoài nhìn vào, khuôn viên chùa khá rộng, không gian hài hòa. Tượng Quan Âm lớn hơn người thật đứng trên tòa sen, nhìn về Rạch Chùa. Tượng bằng xi măng sơn màu xanh, nét mặt hiền hòa, cân đối.
