中卫市区中心的鼓楼南门上，有匾曰“对峙香岩”，说的就是地处中卫南部的香山。香山地区明代时系朱元璋第十六子庆王的封地，至清代纳入中卫县治。

香山峰峦起伏，绵延不断，主峰海拔2361米，其势高插云霄，拔起于群山之上，雄伟壮丽，大气磅礴。主峰顶上有天然平台一块，旧时建有“香岩寺”。后来，烧香拜佛的人越来越多，寺名逐渐被香客和群众称为“香山寺”。

香山寺屡经修茸，规模越来越大，甚为壮观。绕寺环顾，群山重叠，峰峦皆俯，使人确有“会当凌绝顶，一览众山小”之感慨。向北远眺，沙漠浩瀚，黄河如练，村镇星罗，道路纵横，足令游人纵目驰怀，心旷神怡。清代诗人宋楫的《香岩登览》诗赞日：“边城古刹势崔嵬，竞日登临未拟回。俯视河山收眼界，恍疑身茁雨花台。”