民間傳說，五泉山的來曆和西漢名將霍去病有關，據說當年霍去病奉漢武帝之命，率領大軍從隴西郡（郡治狄道，今臨洮）出發，準備征討匈奴。霍將軍率軍從臨洮出發後，沿著山間小路，直奔黃河邊，由於這些地方人跡罕至，道路非常難走，到了今天五泉山一帶，將士們口渴難耐，看到將士們無水可喝，將軍非常著急，無奈之下揮鞭連擊山崖，沒想到地下竟湧出了五股泉水。2005年9月底，人們在五泉山門前的廣場上，立了一尊雕像，以此來紀念霍去病。雕像中的霍去病腳踩馬鐙，抱拳感謝，充分表現了將軍的愛國熱情。後來人們把這五股泉水分別命名為甘露、掬月、摸子、惠、蒙，其中甘露泉、掬月泉、摸子泉在中麓南部，蒙泉在東澗，惠泉在西澗，五泉山也因這五泉而得名。
據明天順五年（1461年）的《大明一統誌》載：五泉山“泉有五眼，相傳漢霍去病擊匈奴至此，以鞭卓地而泉出。”清乾隆時統稱鞭搠泉。當然，這僅僅隻是一個傳說，專家考證認為，霍去病兩次遠征匈奴時，並未來過蘭州五泉山。
早在唐宋時這裏就建有寺廟。元代在五泉山建皇慶寺，明洪武初改為五泉寺。永樂七年（1409年）重建，改為崇慶寺。明萬曆七年至九年（1579年～1581年）臨鞏兵備道副使在西龍口東側建漱玉亭，以觀瀑布。萬曆三十五年（1607年）兵備副使按察使邢雲路重修後，改名清暉閣。經過元明兩代經營，至清初，五泉山“自麓至巔，攬勝不窮，登臨難遍”。到乾隆年間，五泉山終於形成以佛教為主，間以道教的建築群。這座山曆代均有修建，到清嘉慶、道光時，五泉山已經成為蘭州風光的極勝之處。
乾隆同治年間，五泉山古建築群兩次慘遭兵禍，後來人們才又陸續修建了今天我們所看到的建築群，在重修的過程中劉爾功不可沒。他利用甘肅貢院明遠樓的材料新建了三層樓閣，這就是今天人們所說的萬源閣，供奉伏羲、周文王、周公、孔子；在萬源閣下修建了思源樓，奉祀周敦頤、邵雍、程頤、朱熹，因為這些人“是我中華學術之導源也”。
五泉山上有許多的文物珍寶，其中比較著名的是“銅接引佛”和“泰和鐵鍾”。“銅接引佛”原在蘭州東關接引寺內安放，這是一件明洪武年間所鑄的銅佛，身高1丈6尺，身圍8尺，重約萬餘斤。抗戰時期，這個銅佛被日本人飛機所擲炸彈炸壞。1955年人們將銅佛焊接複原後移到五泉山金剛殿。這尊銅佛像造型優美，衣褶顯晰，麵部神態敦厚豐韻，怡靜莊重，麵含微笑，左手托缽，右手舒展，一副悲天憫人、接引眾生普渡的神態。
“泰和鐵鍾”原為普照寺物，後安放在五泉山猛醒亭內。這座鐵鍾為金代章宗泰和二年（1202年）所鑄，鍾高9尺，直徑6尺，重10000斤。造型宏偉肅穆，聲音渾厚洪亮，這成為蘭州抗戰的見證，也是普照寺內留存下僅有的幾件文物之一。
五泉中摸子泉最為神奇，過去善男信女用手在泉水中摸索，據說摸著石子的生男孩，摸著瓦片的生女孩。劉爾炘曾在洞口書寫一聯，嘲諷這種迷信行為是“糊糊塗塗，將佛腳抱來，求為父母；明明白白，把石頭拿去，說是兒孫”。
從大門進入後，就開始登山了，隻見山間綠樹掩映，沿著通道殿宇層疊，樓閣錯落。五泉山的蝴蝶亭、金剛殿、大雄寶殿、萬源閣、文昌宮、地藏絲、千佛閣依次排列。
五泉山還是一個植物眾多的地方，在公園內各種喬木花卉隨處可見。國槐、銀白楊、旱柳、白榆、臭椿、梨樹、牡丹、丁香、玫瑰、榆葉梅、連翹、珍珠梅、紅柳等樹木，讓人流連忘返。
如今這裏保存建築10000多平方米，其中崇慶寺、嘛尼寺、臥佛殿、地藏寺等係明清時代建築。
然而許多小朋友是通過動物園認識五泉山的。五泉山公園西麵的蘭州動物園是甘肅省內唯一一所動物園，裏麵的鹿苑、熊池、獅虎房、猴山、禽園、熊貓館等有大量各種各樣的珍禽異獸。每逢周末和節假日，動物園就成了小朋友的樂園。
現代城市雕塑多
在蘭州眾多的雕塑是獨具特色的。現在人們已經無法說清楚蘭州城市雕塑的具體數目了。這些年在城市建設中，在植樹造林中人們興建了許多雕塑，而雕塑最集中的地方在黃河邊。其中比較出名的有：“綠色希望”雕塑，位於黃河母親雕塑東約180米處，由王誌剛、王鐵城做成。它是由甘肅130多萬青少年捐資興建的，建於1987年7月。主像由高11米、8米、3米三株漢白玉圓錐體變形樹組成，高低參差，疏密有致地矗立於園林綠地中，寓三木成“森”之意，反映甘肅人民種草種樹，綠化隴原的偉大壯舉，象征隴原青少年茁壯成長。側像2座，各高8米、長11米，漢白玉浮雕，呈弧形對稱分布於主像兩側，東側為“采種支甘”，西側為“綠化隴原”，以突出、烘托主像，起提示主題的作用。
“黃河母親”雕塑，位於濱河路中段，小西湖公園北側，是目前全國諸多表現中華民族的母親河——黃河的雕塑藝術中最完美的一尊，具有很高的藝術價值，在全國首屆城市雕塑方案評比中，曾獲得“優秀獎”。雕塑由甘肅著名的雕塑家何鄂女士創作，北京雕塑廠於1986年4月30日雕成，係一長6米，寬2．2米，高2．6米的花崗岩圓雕，總重40餘噸。由“母親”和一“男嬰”組成構圖。母親秀發飄拂，神態慈祥，身軀頎長勻稱，曲線優美，微微含笑，抬頭微曲右臂，仰臥於波濤之上，右側依偎著一裸身男嬰，象征著哺育中華民族生生不息、不屈不撓的黃河母親和快樂幸福、茁壯成長的華夏子孫。雕像下基座上刻有水波紋和魚紋圖案，源自甘肅古老彩陶的原始圖案，反映了甘肅悠遠的曆史文化。同時，水波紋和魚紋也反映了黃河流城的先民們對自然現象敏銳的觀察力。雕塑前麵另立一全國青少年地學夏令營於1984年8月所立“獻給中華民族的搖籃——黃河母親”碑。