1.香山海拔557米，最高峰顶有一块巨大的乳峰石，形状像香炉，晨昏之际，云雾缭绕，远远望去，犹如炉中香烟袅袅上升，故名香炉山，简称香山。
2.仿照江西庐山而来。李白名句"日照香炉生紫烟，遥望瀑布挂前川，飞流直下三千尺，疑是银河落九天"。庐山有香炉峰，香山仿香炉峰之名，故名香山。
3.古时香山曾是杏花山，每年春季杏花开放，清香四溢。明代王衡记载："杏树可十万株，此香山之第一胜处也?quot;明诗有"寺入香山古道斜，琳宫一半白云遮，回廊小院流春水，万壑千崖种杏花"之句。《帝京景物略》中有记载："或曰香山杏花香，香山也……"。