文禄4年(1595)に行われた太閣検地帳に寺の名があるので、それ以前に天初和尚が開山したと伝えられています。
享保年間(1716〜35)頃、出羽国山形県鶴岡の善宝寺で修業した禅法律師は、寺の再興を平藩主内藤政樹に訴え、寛保2年(1743)10月24日に中興開基になって再建したのが、今の光西寺で、山門及び地蔵堂はその時建てられたものです。今は光西寺となっていますが廣済寺が正しい寺号で、大正2年(1913)の棟札に誤って光西寺と書いてしまい、昭和19年(1944)5月に不動明王を安置した棟札を書くときに光西寺としたが、正しい「廣済寺」まで気がつかず、国指定重美の所有者に「光西寺」で登録されたため、この文字の寺名になったということです。
現在の本堂は明治12年5月相子島に有った本堂を当時のお金で金拾円で 譲り受けきた.事が平成9年3月15日に寺買渡し證が発見されました。
2017年3月に 外観改装工事終わりました。
以前は毎年1月24日の地蔵講でわらじを奉納する習わしによるものだそうです。
わらじ信仰というものは、足の具合が悪くならないように足の健康を願って奉納するものです。毎年、新しく作ったわらじの片足分だけ持ってきてこの楼門の格子に掛け、昨年の分とあわせて一足にするのです。そして帰り際に古いわらじの片足分だけを持ち帰り、自宅の玄関脇に下げて置くとわらじが厄除けの働きをして、一家揃って無病息災になるといわれているものです。楼門が老朽化と2011年3月11日の東日本大震災にてこの様な姿になりました.早く修復しないといけないのでしょうが、檀信徒が少ない為まだ復興が出来ていません
上記の山門は2017年4月5日に修復できずに、解体致し仁王様の安置出来るの優先に新たに2000年に完成しました。