香葛而得名。香山寺微始建于北魏熙平元年（公元516年），唐垂拱三年（公元687年），印度来华高僧地婆诃罗（日照）葬于此，为安置其遗身重建佛寺。天授元年（公元690年），武则天在洛阳称帝，建立武周王朝，梁王武三思奏请，敕名“香山寺”，并重修该寺。武则天常驾亲游幸，御香山寺中石楼坐朝，并留下了“香山赋诗夺锦袍”的佳话。
唐大和六年（公元832年），河南尹白居易捐资六七十万贯，重修香山寺，并撰《修香山寺记》，寺名大振，这篇文章开篇第一句即是对香山寺的推崇“洛都四郊山水之胜，龙门首焉，龙门十寺，观游之胜，香山首焉”，白居易自号“香山居士”与如满和尚等人结成“香山九老会”吟咏于该寺的堂上林下，会昌六年（公元846年）白居易去世，遗命葬于香山寺如满大师塔侧。
宋金时期香山寺犹存，元末废弃，清康熙年间重修，乾隆皇帝曾巡幸香山寺，称颂“龙门凡十寺，第一数香山”，这句诗摘自他当时所作的诗《香山寺二首》，被镌刻在石碑之上，位于香山寺的乾隆御碑亭就矗立着这块石碑，已有两百多年了，清末民国初年，香山寺又渐荒芜了，1936年香山寺进行重新修建后，为蒋介石庆祝五十寿辰而在寺内建一幢两层小楼。蒋介石和宋美龄多次在此避暑，这幢小楼位于香山寺内东南侧，被称为“蒋宋别墅”。
香山寺自创建至今已有1400多年了，有着极其深厚的文化内涵。