據地方老一輩的傳聞,幾十年以前,地方還是很荒涼的時候,山下的民眾,每至午夜時分,都聽到山上有鑼鼓喧天,熱鬧異常的聲音,亦可見一股毫光照片山上及山下但到山上卻什麼沒看到.
民國30年間,有位大陸來的堪與先生,陳崑鏡遊方到四重溪發現此地地理極佳,見後面主山青龍前有獅象二山,便對地方人士說:山上有佛寺聖地,,如能建一寺廟，一定能靈感發展.但當時地方荒涼,山上多樹林,人煙稀少,後經陳崑鏡一再拜託,才由村民帶路上山去找.當時有四位村民聽說有位唐山來的地理師,上山去找廟地,也跟著上山,到了山上後見陳崑鏡和先上來的幾位村民正在談論這塊地的地理風水,後上來的村民因沒地方坐,轉身看到一塊石頭，即順手搬起要坐,結果發現是一個形似觀音大士聖像的石頭.從此以後村民一遇到有事,即向此聖像焚香膜拜,慈悲的觀音大士,更是有求必應,靈顯異常.未幾,變成為附近幾十里村民的信仰中心.當時只有簡單的茅屋,因菩薩非常靈感,大家商議建廟.然當時是日本時期,對台灣採取的是強硬殖民政策,因此不準民眾所求,建廟之事終未有人敢再提起.在盟機猛炸台灣之時,凡是到石觀音避難者,都平安無事,使地方更感念菩薩德恩.一直到台灣光復後才由地方王振發,許順吉,曾石頭,王榮宗等士紳發起建石觀音廟,並請月定尼師來山主持.
民國38年12月正式開工,到40年6月19日才建造一間用山石建成大約30餘坪的大殿,在近2年的建築中發生很多不可思議的感應事蹟,住持月定尼師說，曾有一次欲生退心結果夜夢一名18,9歲身穿白衣的姑娘手持一把雨傘,叫他莫生退心,我來與你同住.醒後一無所見,知道是菩薩顯化,就堅持下去.又當時擔任溫泉村的村長王榮宗說,當時他負責建築工程,因為經濟困難,建築材料都是拾搬山麓的石頭,並就地取材山上的相思樹,但聽說中樑一定要杉木才行,又缺錢買,天天為此事煩惱.有一天,鄭在山上監工時中午在樹下乘涼,不知不覺睡著了夢中一位穿白衣的姑娘跟他說要中樑往東北方找就有.忽然醒來原來是菩薩指點.隔天一早便騎車向東北方找,一直到東邊海邊的牡丹圓,看見ㄧ阿美族的女原住民在燒香禮拜,口中念念有詞,原來她正向石觀音祈求靈丹,治他發燒不退的孫女兒,(至今牡丹圓的阿美族尚多信仰石觀音)騎的上氣不接下氣的王榮宗,表明來意,剛巧這位原住民幾天前在海邊拾來一隻不知由何方漂來有三尺直徑的大杉木,聽說石觀音正在建廟,欠缺三支中樑又是菩薩指示而來,於是歡天喜地搬到青龍寺,供建廟使用.
