相传在远古时代，三岭山初时只有平岭、交椅二岭，镇守在西营（现湛江市霞山区）之西南，抵挡来自南方之恶浪，西边之罡风，庇护雷琼众生。但惜二岭力量单薄，难与恶魔抗衡，致使霞赤两地屡遭海怪兴风作浪，风魔肆虐遍野，以致民不聊生。无奈，二岭的“土地公”向天庭求助，玉帝遂派天宫草部牛尚书之夫人下凡镇压妖魔，在搏斗中牛夫人以身殉职，百姓将其葬于二岭之间，此时，天上佛光乍现，观音菩萨显灵，随即将甘露洒落在牛夫人安葬之地，顷刻间地动山摇，牛夫人化为一座大山（即今日的牛姆岭），从此，三岭相拥、坚不可摧、抗风镇魔，百姓得于安居乐业、共享太平。牛夫人舍己救人的壮举感动天地，玉皇大帝为让牛夫人之功绩永远流传于世，每逢重阳都派遣福、禄、寿三星下凡三岭山之牛姆岭福荫雷琼大地，普济苍生。

后来，百姓为彰显牛夫人舍己救人的丰功伟绩，感恩观音菩萨和福、禄、寿三星之慈航普度、庇佑众生，在三岭山上建造了《三岭寺》，供奉着观音菩萨和福、禄、寿三星与牛夫人。