商朝(前16世紀-前11世紀)的開國君主湯曾經短期定都在安徽北部的亳州，當時安徽大部份居民並非華夏族，而是後來融入漢族的東夷。
戰國末期，前278年，楚國的郢都（今湖北荊州）被秦國攻占，於是遷都壽春(今安徽壽縣)。前224年，楚國大將項燕被秦國的王翦60萬大軍擊敗，前223年，壽春陷落，楚國滅亡。前221年，秦國完成征服六國、統一天下的計劃。安徽大部分地區屬於九江郡（壽縣），北端屬於泗水郡和碭郡。秦末楚漢相爭，項羽在今安徽固鎮縣的垓下之戰中敗給劉邦，自刎於烏江（安徽和縣）。劉邦建立漢朝。
漢武帝時東甌國舉國遷到廬江郡（今廬江、舒城一帶）。漢朝末年，壽春成為軍閥袁術的基地。袁術後來自稱皇帝，但不久病死，壽春歸屬軍閥曹操（亳州人，三國中魏國的實際開創者）。
五胡十六國期間，從4世紀開始的幾百年間，幾支北方遊牧民族在中國北方相繼建立政權，南方則一直保持著漢人的王朝。安徽北部成為南北方對峙的前線，戰火不斷。383年在北方的前秦和南方的東晉之間展開的淝水之戰就是其中比較重要的一次戰役。
隋朝(581年~618年)統一了中原。經過短暫的混戰，唐朝(618年~907年)建立政權，並保持了一個多世紀的和平和統一。安史之亂中，安徽北部淮河地區遭受戰火蹂躪。唐末875年王仙芝、黃巢起義，從河南經安徽和縣渡長江入皖南，到福建、廣東，後經安徽攻長安，天下大亂，藩鎮割據，不久唐朝滅亡。
北宋後期，北方的金朝崛起。1127年以後，安徽北部的淮河再次成為南北對峙的前沿：北方的金和南方的南宋。1161年金朝海陵王完顏亮出兵伐宋，在今安徽馬鞍山采石大戰失敗。1234年，金亡於蒙古帝國。1276年，蒙古人攻占南宋京城杭州。安徽全境歸元朝。
1368年，洪武皇帝（朱元璋）在南京建立明朝，把蒙古人趕到塞外。明朝時期稱直接隸屬於首都（京師）的地區為直隸。明朝洪武初年建都南京應天府，以應天府、蘇州府、鳳陽府等14個府級單位（注：明朝時期的直隸州與府平級，有別於低一級的散州）為直隸，相當於今江蘇、安徽、上海兩省一市。明朝永樂初年遷都順天府(今北京市)後，又稱直隸於北京的地區為北直隸，簡稱北直，相當於今北京、天津兩市、河北省大部和河南、山東的小部地區；直隸於南京的地區被稱為南直隸，簡稱南直。自宣德三年（1428年）以後，全國統分為兩京、13布政使司。兩京是京師（即北直隸）和南京（即南直隸）。
備注：明朝有兩個首都：北京和南京。朱元璋定都南京，朱棣遷都北京，但朱棣遷都時，並未取消南京的首都地位，而首都轄區為朝廷直轄，故稱直隸，明朝就有兩個直隸地區，分別為南直隸和北直隸。至於南京六部，那是齊備的，六部都有，是明朝政府的一個備份。這樣，萬一猝然變生，北京朝廷覆滅，則南京朝廷就可以馬上行駛政府職能了。說南京無吏部，這是不對的。比如，大家都熟悉的王陽明的父親王華，就曾經擔任過南京吏部尚書。正在加載皖南事變1645年，滿清的八旗兵攻占天京（南京），將南直隸改為江南省；1667年，又將江南省分為江蘇省和安徽省。安徽省會設在安慶，駐有安徽巡撫以及安徽按察使。管理安徽民政的江南左布政使則長期寄駐江寧府（南京），直到1760年(乾隆二十五年)，也一並遷來安慶。至此，安徽省界基本穩定下來。