大别山主峰所以称作白马尖据说和佛教有关,佛教传入中国后东汉永平十一年(68年),汉明帝刘庄为铭记天竺(古印度)高僧迦什摩腾、竺法兰用白马驮载佛经佛像到中国传播佛教,在洛阳兴建了白马寺,也称为佛教中国第一古刹,这是佛教传入中国后兴建的第一座寺院,有中国佛教的“祖庭”和“释源”之称。
通常寺庙的选址不是在山上就是在海边,以表达僧人远离尘市、养心修行的精神追求,因内陆人口远多于海边,所以依山而建的寺庙要远远多于临海而建的,久而久之人们也习惯地认为寺庙是应该建在山上的,从而也有了所谓“山无寺则无名,寺无山则不灵”之说。
由于白马寺所建的地方是由汉明帝所定,且是中华第一佛寺,并未遵循依山而建的常规,因此白马寺建成后印度高僧只好设想在中华大地的南方找一座山,作为理想中和白马寺想依而建的山,虽山寺分处二地,但由于佛法无边,只要取同名虽遥相顾盼但实为依山而建,这样更有利于在中华大地上弘扬佛法。印度高僧认为,中华民族起源于黄河长江,因此如果白马寺建在黄河流域,白马山理应在长江流域,于是印度高僧以金瓶掣签方式甑选与白马寺的同名山,掣签的结果是此山就应该位于白马寺东南方、山呈东南往西北走势对着白马寺方向,按此选山的标准,唯有长江淮河分水岭的大别山符合,于是命名大别山主峰为白马尖。
其所以称为尖而不是山,一者是因为大别山已经为山,而它的最高峰再称为山有大小高低不合理之不顺,如称作峰则因山峰之称呼太多少未免俗套而于白马寺不配,此外为了表达佛教对造物的苍天的膜拜,用尖则更为贴切,因此就取名为白马尖,从此以后就有了“北有白马寺,南有白马尖”一说。