太原又稱晉陽、並州，另有數種名稱：“中國曰太原，夷狄曰大鹵。按晉太原、大鹵、大夏、夏墟、平陽、晉陽六名，其實一也。”傳說太原上古為金天氏所居。堯始封於此，曰唐國。虞分為並州。夏、商省入冀。周成王封弟叔虞於此，亦曰唐，其子燮更號曰晉。但考古發現早期晉國實際主要在今晉南曲沃、翼城間。
太原地區為農牧交錯區，農業民族與遊牧民族此消彼長自上古已然。公元前541年，晉國“敗無終及群狄於大原”，晉國勢力進入太原盆地。晉陽城春秋末魯定公十三年（前497）以前由趙簡子家臣董安於肇築，因居晉水之陽而得名，至趙獻侯元年（前423）遷中牟（今河南鶴壁）前，曾作趙國都城。“太原”一詞上古時代為地域名稱，“東原底平大而高平者謂之太原”，秦莊襄王三年（前247）初置太原郡，為建製之始。並州之“並”，以其在兩穀之間故稱，西漢置並州。
秦以後建製沿革如下：
秦並天下分為三十六郡，始置晉陽郡，尋改為太原郡，北境雁門，南境河東，東境上黨，西境河。西漢漢高帝三年（前204）太原郡屬漢，六年改韓國，七年改代國。漢文帝二年（前178）為太原國，四年複為代國。漢武帝元鼎三年（前114），國除為郡，治晉陽。元封五年（前106），郡屬並州，後為刺史治。東漢建武二年（26），為太原國。十一年複為郡。建安十八年（213）省並州，郡屬冀州。魏晉時期，魏黃初元年（220），複置並州，太原郡屬。晉為太原國。北魏複置並州太原郡。北齊並州太原郡，置省，立別宮。北周置並州六府，後廢，置總管府。
隋開皇二年（582），置河北道行台。三年廢郡，稱並州。九年置總管府。大業初（元年為605年），複罷並州為太原郡，領15縣。唐武德元年（618），置並州總管府。貞觀元年（627），屬河東道。天授元年（690）置北都，神龍元年（705）罷。開元八年（720），置天兵軍。十一年，複置北都，改郡為府。十八年，改天兵為河東軍。天寶元年（742），加號北京，又為河東節度使，領13縣。至德初（至德元年為756年），複為北都。上元二年（761）罷。五代後唐同光元年（923）複為北京。後周時為北漢都。此前郡、國、州、府、道等治均在晉陽城。
北宋太平興國四年（979），宋滅北漢毀晉陽城後降為並州，移治榆次，七年，移治陽曲唐明鎮，屬河東路。嘉祐四年（1059），複為府，兼河東軍節度使，領河東路經略安撫使。大觀元年（1107），升為大都督府，河東軍，領10縣。金太原府，分為河東北路治。元置冀寧路，蒙古孛兒隻斤鐵木真（元太祖）十一年（金貞祐四年，1216），立太原路總管府。元大德元年（1297），改屬河東山西道。
明洪武元年（1368）十二月，改冀寧路為太原府。二年四月，置山西等處行中書省。九年，改為承宣布政使司，太原府屬於其所領4府4直隸州之一。太原府領6州22縣，其中直屬縣13個：陽曲、太原、榆次、太穀、祁、徐溝、清源、交城、文水、壽陽、盂、靜樂、河曲。屬州及其所領縣分別為：平定州，領樂平縣；忻州，領定襄縣；代州，領五台、繁峙、崞3縣；岢嵐州，領嵐、興2縣；保德州；永寧州，領臨、寧鄉2縣。萬曆二十五年（1597），割永寧州及臨、寧鄉2縣隸汾州府，遂領5州20縣。
清初仍明置，但各州所領縣皆直隸於府。雍正二年（1724），平定州、忻州、代州、保德州升為直隸州，並析壽陽、靜樂、崞、河曲等9縣分屬。乾隆二十九年（1764），省清源縣入徐溝。於是太原府領10縣1州：陽曲、太原、榆次、太穀、祁、徐溝、交城、文水、嵐、興、岢嵐州。
太原地理位置在我國古代非常特殊而重要。就其自然地理環境而言，位於中國北方中部山西省中心部位，處於中國地勢的二級階梯上，居南北過渡之要衝，為承東啟西之關鍵。其境又以大山環以盆地，“太原東阻太行、常山，西有蒙山，南有霍太山、高壁嶺，北扼東陘、西阱關，是以謂之四塞也”。“餘惟太原一郡，左亙恒山，右躡大河，襟四塞，控五原”。周邊隻有幾處關口或渡口可供進出。特別是麵對草原的北部遠有恒山，近有係舟山；西部亦有黃河、呂梁山兩道天然屏障。同時，山西由北到南盆地珠串，盆地間又以山之關口、穀地相連，交通不致過分阻隔，太原居其樞紐，成為南北東西交通要津。
再以經濟地理位置而言，司馬遷雲：“龍門、碣石北多馬、牛、羊、旃裘、筋角。”中國北部自然形成一條西南到東北方向的農牧分界線，太原處於這條分界線中段南側。南北生產方式的不同，導致居於界線兩側的社會結構、生活方式差異巨大，也塑造了兩側風俗文化相異的人民。這使兩區域間物資與文化交流及衝突成為必然，太原被古人視為“中原北門”、“邊地”、“邊陲”。如唐李世民《晉祠之銘並序》雲：“襟帶邊亭，標臨朔土。”詩人們也歎息並州“南厄羊腸險，北走雁門寒”。“並州近胡地，此去事風沙”。“鐵馬垂金絡，貂裘犯雪花”。北宋初年，北漢在遼的幫助下久不臣服，宋統治者認為“蠢彼並門，獨為巨寇。構亂階於三紀，恣虐焰於一方”。“惟此並門，敢為驁桀，擾我邊陲，固其巢穴”。司馬光《晉陽三月未有春色》詩中也說：“上國花應爛，邊城柳未黃。”梅堯臣《遊晉祠》詩雲：“並州古來稱近胡，山雄氣壯民足儲。”金元時期元好問也說：“中原北門形勢雄，想見城闕雲煙中。”明代時，祝璟認為“其地偏節晚，種藝之入恒薄，而或天時不齊，人力有梗，與不毛之地等”。
當然，以上所引資料體現的都是中原視角，若以散點思維，即從草原角度看，太原也是進入中原的南門、東門。正是這種門戶地位，構成了太原古代曆史的主要特色。