大仙寺主祀釋迦牟尼、觀音菩薩、三寶佛祖、地藏王菩薩,俗稱舊巖(碧雲寺為新巖),相傳大仙寺為「仙人拋網」靈穴。
據〈大仙寺沿革〉之記載,清康熙40年(1701),參徹禪師自福建鼓山親奉觀世音菩薩神尊來台,一日巡錫至台南縣白河鎮仙草埔,見此地風光明媚 、山姿秀麗,必為隱居修行福地,乃暫將觀音菩薩放置大樹下之石頭上,當禪師欲再另覓他處石,神像卻似膠漆緊緊黏住,移請不動,參徹禪師心知菩薩有意於此渡化大眾,紛是親自開山斬棘,結廬供奉,並嚴守戒律,誦經勸化附近善信。
乾隆12年(1747),參徹禪師之徒弟鶴靈禪師為求一宏偉聖殿以彰顯菩薩慈悲襟懷,乃走訪地方士紳,出錢出力,募資興建佛殿,是為火山大仙巖。
其後,大仙寺在歷代禪師的主持之下,於乾隆55年(1790),與諸羅縣(今嘉義縣)營參府軍官洪志高先生,再度完成修建工作。
嘉慶14年(1809),太子太保王得祿集資將大仙寺初建之佛殿遷移至今大雄寶殿現址。
大正4年(1918),大仙巖管理人廖炭居士,重建「大雄寶殿」。
昭和5年(1930)年,嘉南地區發生大地震,大雄寶殿毀損,施烏拋居士發動募款修建,至戰後才逐年修復。
民國37年(1948),興建觀音殿。
民國39年(1950),建造南北報恩塔及內山門、大殿兩側香客樓房。
民國42年(1953),興建三寶殿。
民國53年(1964),發生嘉南大地震,大雄寶殿毀損、石柱傾斜、斷裂,觀音殿全毀,由管理委員會及開參禪師募捐修繕,至民國55年(1966)才修復及重建觀音殿,並於同年興建地藏殿。
民國60年(1971),興建放生池、放生亭、觀音亭、觀光大山門、報恩塔、靜思園、大圍牆等,並重建宮殿式之樓房等工程。
民國81年(1992),再度重建,採北式建築。
民國94年(2005),將原三寶殿拆除,重建三寶殿、準提殿、祖師殿等。
大仙寺為國內佛教九大門派之一,南台灣第一古剎,於民國74年(1985)經政府公告為古蹟。