約在二百四十萬年前開始大幅度隆起並逐漸形成。早在二十八億年前，太行山地區被海水淹沒，沉積了巨厚的碎屑岩、含鐵矽質岩及碳酸鹽地層，受五台運動和呂梁運動的影響，區內古老的地層普遍遭受褶皺、變質，並伴隨有斷裂和石英岩脈的侵入。距後世的二十一世紀，十八億年，形成了混合岩化的結晶基底岩層。
距後世的二十一世紀十八億年的呂梁運動以後，本區地殼進入差異升降階段，並由此導致了海水的進退往複，分別形成了中元古代地台沉積蓋層，以及上覆的古生界寒武、奧陶、石炭和二疊係地層。其中奧陶和二疊係為含煤地層。發生在中生代的燕山運動使太行山新華夏式褶皺帶逐漸形成並發育太行山前深大斷裂帶。
發生在新生代的喜馬拉雅運動使太行山強烈隆升，而山前的華北平原則相對下沉，經過數百萬年的千古錘煉，太行山終於產生。
山地受拒馬河、滹沱河、漳河、沁河等切割，多橫穀，當地稱為"陘"，古有"太行八陘"之稱，為東西交通重要孔道。太行山東翼斷陷盆地中分布有井陘、臨城、峰峰、六河溝等著名煤礦。太行山為重要地理分界，山以西為黃土高原，以東為黃淮海平原。山地對夏季風有明顯阻滯作用，迎風坡降水較多，並形成暴雨區。山地東側為地震強烈活動帶。
太行山脈的的地質基底是複式單斜褶皺。東側為斷層構造，相對高差達1500~2000米，山前發育典型的洪積扇以及衝洪積平原。從北向南有小五台山(海拔2882米)、太白山、白石山、狼牙山、南坨山、陽曲山、王屋山等山峰。山西高原東部河流多切過太行山進入河北平原，彙入海河水係。隻有西南部的沁河水係向南彙入黃河。
太行山是華夏東部的一條重要地理界線。東部的華北平原是落葉闊葉林地帶，西側的黃土高原是森林草原地帶和幹草原地帶，兩側的植被、土壤垂直帶特征也存在明顯差異。
太行山脈多東西向橫穀，自古就是交通要道，商旅通衢。古時有著名的"太行八陘"。
太行山北高南低，大部分海拔在1200米以上。2000米以上的高峰有河北的小五台山、靈山、東靈山、白石山，山西的太白魏山、南索山、陽曲山等。北端最高峰為小五台山，海拔高2882米;南端高峰為陵川的佛子山、板山，海拔分別為1745米、1791米。
太行山山勢東陡西緩，山西高原東部 河流多切過太行山進入河北平原，彙入海河水係。隻有西南部的沁河水係向南彙入黃河。
太行山脈西翼連接山西高原，東翼由中山、低山、丘陵過渡到平原。山中多雄關，著名的有位於河北的紫荊關，山西的娘子關、虹梯關、壺關、天井關等。
太行山是黃土高原和華北平原的天然分界線。北宋時代傑出的科學家沈括看到太行山的山崖之間"怯怯禦螺貝殼及石子如鳥卵者，橫亙石壁如帶"，經過研究指出:"此乃昔日之海濱，今東距海已近千裏。"
現代地質研究證實了他的論斷。太行山崖間的螺蚌殼，顯係古生代地層中的腕足動物或軟體動物化石。