Thời kỳ đầu chùa được xây dựng trên triền núi nhỏ nhưng đến năm 1919 khu vực này bị người Pháp chiếm dụng để xây cho hoa tiêu ở. Sau đó năm 1921 chùa được bốn vị tín chủ cúng dưỡng đất xây dựng tại vị trí hiện tại.
Ban đầu chùa làm bằng tre nứa, vách cót và ngói âm dương, đến năm 1948 hương chức chùa làng Thắng Tam cung thỉnh Hòa thượng Thích Trí Tịnh làm trụ trì và giao toàn quyền quản lý chùa (sau này Hòa thượng đảm đương chức vụ Đệ nhất Phó Pháp Chủ, Chủ tịch Hội đồng Trị sự T.Ư GHPGVN); tiếp đó Ngài giao lại cho Đệ tử là cố Hòa thượng Thích Tịnh Viên (viên tịch năm 1995) làm trụ trì.
Năm 1959 Hòa thượng Thích Tịnh Viên dời toàn bộ ngôi chùa sang khu đất đối diện gần đình Thần Thắng Tam với quy mô và khang trang như ngày nay.
Trong chánh điện chùa có thờ pho tượng Phật cao 1,2m bằng đá có phết vàng được điêu khắc rất khéo léo tạo nên vẻ mặt hiền từ và hết sức sống động trên nét mặt của đức Phật theo sắc thái tượng Phật của người Chàm và được các nhà khảo cổ ước tính có cách đây khoảng 1.600 năm.
Về nguồn gốc pho tượng Phật, có truyền thuyết kể lại cách đây hơn 100 năm có đoàn ghe chài lưới từ miền Trung vào đánh cá ở bãi Trước đã phát hiện 2 pho tượng phật bằng đá vùi dưới đất trên sườn núi gần bãi Dâu. Họ cùng nhau đào lên rồi chờ đến hôm sau làm lễ xin đem về. Dân địa phương biết tin kéo đến xem và cho rằng đó là di tích của địa phương nên cương quyết đòi giữ lại, sau giữ lại pho tượng lớn, chỉ cho pho tượng nhỏ đem đi về thờ tại chùa Đức Phổ, Quảng Ngãi. Pho tượng lớn được dân làng rước về thờ chính là pho tượng hiện nay ở chùa Linh Sơn cổ tự và hiện đang được Bộ Văn hóa, Thể thao và Du lịch lập hồ sơ trình Chính phủ nâng cấp thành bảo vật quốc gia. Ngoài ra chùa còn lưu giữ thờ cúng pho tượng Phật Di Lạc bằng đồng của miền Nam Lào thỉnh về năm 1972.
Hằng năm chùa thường tổ chức nhiều lễ cầu an, cầu siêu, nhiều nhất là vào dịp Tết Âm lịch như lễ hội Quan Âm, Đản sinh, lễ Vu Lan, lễ cúng cầu siêu cho các vong linh thai nhi – ấu nhi đến 13 tuổi, lễ truyền tam Quy ngũ Giới …
Đến thăm chùa vào những ngày thường, du khách sẽ được tự do thả mình vào một thế giới an lạc với một không gian tĩnh lặng như để rũ bỏ mọi ưu phiền và những lo toan đời thường; không những được giải tỏa những căng thẳng, khách thập phương còn có thể đưa mắt ngắm hết mọi khung cảnh, kiến trúc của một ngôi chùa có lịch sử lâu đời – Linh Sơn cổ tự.
T.M.T
