Chuyện kể rằng núi Trầm là viên ngọc trắng rơi xuống từ trời, khi chạm đến đất ven sông Đáy thì hóa thành 5 con chim phượng hoàng nhô đầu là 5 đỉnh núi. Vì vậy núi Trầm còn có tên gọi khác là Ngũ Nhạc Sơn, sau đổi tên là Tử Trầm Sơn. Đường lên núi Trầm chỉ mất khoảng 10 phút từ dưới chân núi là có thể lên lưng chừng. Tại đây có một khoảnh đất khá bằng phẳng, du khách có thể dễ dàng quan sát năm đỉnh núi đá vôi màu trắng nổi bật. Từ đây có nhiều lối mòn nhỏ tỏa lên năm đỉnh núi.