明末,有漳泉人士至臺灣之地尋求發展,出發前至鄉廟求筶恭請玉皇上帝、玉皇三公主娘香火及玉皇四太子木雕神像乙導,隨身供奉至臺發展,以求一路平安;至臺灣之池,在尖山立居,將香火及神像在尖山之頂,建一天壇供奉,成為臺灣置所奉祀玉皇上帝之始。
而尖山一帶人士受沐天恩及感念玉皇四太子之顯世濟民,神威顯赫,遂於明水曆二十四年(1670)鳩資建廟,廟號玉皇太子宮,尊玉皇四太子為主神,同年,鄭軍隨屬李世輝日染重症,其子李世金(俗呼四舍)早聞玉皇太子宮之神聖威靈,急至玉皇太子宮設立香案,代父禱求疾病早日痊癒,並祈願其父之疾如早痊,要勸募居民及軍官將士捐款擴建廟宇。祈後不久其父之疾,果真痊癒,世金即號召居民及營中各官士兵籌集緣金和扣就月糧食各一錢,共得金九百圓;加大擴建玉皇太子宮,修擴完工,居民皆俗呼為四舍廟。
清康熙二十二年(1683),臺島隸清,清廷駐兵於臺郡尖山及馬房山開設總鎮營管治臺島。二十七年,總鎮官楊文魁視察臺島史事,發覺玉皇太子宮之神靈,威靈顯赫,顯世濟民,乃重修宮殿並加以崇祀,成為清代官兵所奉祀廟宇之一。
嘉慶五年(1800),尖山一帶地震,廟身年久失修,宮內樑柱腐朽,受震害崩塌,鎮北坊民許茂盛、陳登生、蔡廷杰、徐玉動、柯再得…等人感念神聖威赫,發起修廟,四處廣募緣金,共得八百圓;大行重建修廟,又聘請福州匠師雕塑玉皇上帝、玉皇四太子、玉皇三公主娘之大型軟身神像(現恭奉於開基玉皇宮正殿)及三官大帝、張府天師、南北斗二星君、月下老人…等神像。復因塑立玉皇上帝之聖像,故乃尊奉玉皇上帝為主神,並改廟號為「開基玉皇宮」,玉皇四太子,遂降格為從祀神改稱玉皇四殿下;廟號冠開基,乃其來歷早於荷據時期,也可證為開臺古廟之一也。
迨至光緒十三年(1887),再受風雨侵襲損壞,里氏陳雨水、柯粒記、蘇協記等數名里民再鳩資修繕,並增建偏殿乙座,地由士紳吳、柯兩家捐獻之,另添塑王靈天君、註生娘娘、司命灶君、普化天尊等神像,又於廟前古松外建九重式照牆乙、座,以隔內外益表威嚴。
日治大正三年(1914),里氏蘇丞如發起修葺,至大正八年完竣並建醮三朝慶成;昭和九年(1934),由負責人李會川、楊再生、陳和尚、陳金連、王旌與里民蘇丞如、洪松、黃振忠、郭明章、周天生、林世鴻、張鈍、張成、曾賜及士紳陳鴻鳴、辛西准等人向臺南州內外勸募緣金,得金九千餘圓,擴大規模改建。二次大戰之期,宮殿遭受彈炮襲擊廟牆塌落,神像俱顯靈異未損,里民皆將神像遷至祀典興濟宮後殿暫祀;二戰後後,由鋪戶李會川、鄭燕文、高阿流、吳老旺、曾賜、李天賜、梁大松、吳篤昇、鄭成、陳煥明、李丁木、謝萬發、林老英等士耆大老發起建廟,加諸鋪戶眾民鼎力出資,完竣後,是年吉日農曆六月初六日舉行恭迎玉皇上帝暨諸神回鑾安座大典,市內之廟宇皆出轎恭迎玉皇上帝回鑾安座,轟動一時。
民國四十六年(1957),因緣之俱由台南士紳車宗哲之高堂林金髻女士暨由車宗哲、蔡炎炭、許清誥、徐戶、韓添、莊玉榮、陳煥明、施耀謀、阿財姑…等人,由高武棟先生策割,共同組織修建委員會翻修殿字,另在三川門外增建八卦拜亭乙座(由車宗哲捐獻),立石製龍柱乙對(由侯雨利、車宗哲各獻乙柱),於四十八年修建完工,諸神安座並啟建三朝祈安清醮祈福慶成,鼎建廟舍完成旋即成立第一屆管理委員會,綜理宮務。六十四年,由車宗哲、蔡炎山發起整建虎邊偏殿,俟六十七年順利完工建為二樓式,又增塑三清道根、五斗星君、五文昌公、三寶佛、觀音大士、準提菩薩、孚佑帝君、玄天上帝…等道教諸真及佛教神像,並建醮三天以資慶成;此次整建為廟貌現狀立為基礎。
民國六十八年,經信徒大會決議,放棄增入古蹟之列,修建正殿並增購兩側土地以擴建廟殿,由車宗哲、蔡炎炭再度發起修建,組織修建委員會,經各地善信指款共贊,諸信徒之熱誠為廟,修建工程經歷四載順利至七十二年底完工,七十三年亦即歲次甲子年農曆正月初六日午時,擇吉舉行玉皇上帝暨諸神升殿安座大典,同年舉行慶成祈安正三朝清醮,鋪戶境眾點燈結綵,熱鬧非凡,七十四年元月二日慶成圓滿,舉行恭送交誼、聯境列位尊神回鑾遶境,聘邀民俗藝陣參加,以精湛演出,使醮典盛況空前。
民國七十四年,為配合政府推行社會公益慈善事業,適逢開基玉皇宮創建三百十五週年,成立開基玉皇宮附設慈善會,推行社會公益慈善事業。七十七年,為求廟身完整四正,由信徒樂捐,增建東南方偏殿及二樓式環保回收金爐乙座,偏殿中再添塑盤古聖祖、太乙真人、太白金仙之上界道教神像供信眾崇拜。八十一年,由臺南紡織吳修齊、三新紡織吳俊傑捐獻北忠街與公園路交接口之三重式巍峨牌樓乙座。同年陸續收購廟前舊屋舍及古松下之土地,闢為停車場,便利香客蒞臨參拜親聖。八十二年又將西側土地購置興建太歲殿,諸天神聖大備,利眾信諸善祈求平安,八十三年順利完工並太歲星君一一安座,神恩沐化、啟佑眾生。同年十月在管委會主委邱蝶策劃下為慶祝廟舍殿宇一一完工落成,舉行『開基玉皇宮甲戌年慶成祈安正五朝清醮大典』啟建禳熒、慶成、祈安、通誠正醮;祈求合境平安,諸神福佑眾生。至此,功成大克,為開基玉皇宮之淵源來歷也。