正平8年・文和2年（1353）に府中（現久留米市御井町）から分霊を勧請したと伝えられています。古くは旧甘木線小郡駅付近、現在の古祇園という場所にあったとされ、戦乱が続いた上に疾病の流行も多かったにも関わらず、当時小郡だけは疾病に罹る人が少なく、祇園様の加護として近隣19ヶ村の人々が祈願にお詣りし、疾病がおさまったと伝えられています。慶長元年に小さな社を現在地に移したと言われています。