公元588年十月，楊堅下令向南陳進軍。設置淮南行省於壽春，以晉王楊廣為尚書令，任命晉王楊廣、秦王楊俊、清河公楊素為行軍元帥，指揮水陸軍51.8萬人，同時從長江上、中、下遊分八路攻陳。其具體部署是：楊俊率水陸軍由襄陽進屯漢口，楊素率舟師出永安（今四川奉節）東下，荊州刺史劉仁恩出江陵與楊素合兵，楊廣出六合，廬州總管韓擒虎出廬江（今安徽合肥），吳州總管賀若弼出廣陵（今江蘇揚州），蘄州刺史王世積率舟師出蘄春攻九江，青州總管燕榮率舟師出東海（今江蘇連雲港）沿海南下入太湖，進攻吳縣（今江蘇蘇州）。前三路由楊俊指揮，為次要作戰方向，目標指向武昌，阻止上遊陳軍向下遊機動，以保障下遊隋軍奪取建康。後五路由楊廣指揮，為主要作戰方向，目標指向建康，其中楊廣、賀若弼、韓擒虎三路為主力，燕榮、王世積兩軍分別從東、西兩翼配合，切斷建康與外地聯係，保障主力行動。隋軍此次渡江正麵東起沿海，西至巴蜀，橫亙數千裏，是我國曆史上一次規模浩大的渡江作戰。為了達成渡江作戰的突然性，隋在進軍之前，扣留陳使，斷絕往來，以保守軍事機密。同時派出大批間諜潛入陳境，進行破壞、擾亂活動。
整個作戰行動主要在長江上遊和下遊兩個地段上同時展開。開皇八年（588年）十二月，楊俊率水陸軍十餘萬進屯漢口，負責指揮上遊隋軍，並以一部兵力攻占南岸樊口（今湖北鄂城西北），以控製長江上遊。陳指揮長江上遊諸軍的周羅侯，起初未統一組織上遊軍隊進行抵抗，聽任各軍自由行動。當看到形勢不利時，又收縮兵力、防守江夏（今武昌），阻止楊俊軍接應上遊隋軍。兩軍在此形成相持。楊素率水軍沿三峽東下，至流頭灘（今湖北宜昌西），陳將戚欣利用狼尾灘（今宜昌西北）險峻地勢，率水軍據險固守。楊素於是利用夜暗不易被陳軍窺察之機，率艦船數千艘順流東下，遣步騎兵沿長江南北兩岸夾江而進，劉仁恩部亦自北岸西進，襲占狼尾灘，俘虜陳全部守軍。陳南康內史呂忠肅據守歧亭，（今湖北宜昌西北西陵峽口），以三條鐵鎖橫江截遏上遊隋軍戰船。楊素、劉仁恩率領一部登陸，配合水軍進攻北岸陳軍，經四十餘戰，終於在次年正月擊破陳軍，毀掉鐵鎖，使戰船得以順利通過。此時，防守公安的陳荊州刺史陳慧紀見勢不妙，燒毀物資，率兵3萬和樓船千艘東撤，援救建康，但被楊俊阻於漢口以西。周羅侯、陳慧紀也被牽製於江夏及漢口，無法東援建康。
在長江下遊方麵，當陸軍進攻的消息傳來，陳各地守軍多次上報，均被朝廷掌管機密的施文慶、沈客卿扣壓。隋軍進至江邊時，施文慶又以元會（春節）將至，拒絕出兵加強京口（今江蘇鎮江）、采石（今安徽當塗北）等地守備。開皇九年（589年）正月初一，楊廣進至六合南之桃葉山，乘建康周圍的陳軍正在歡度春節之機，指揮諸軍分路渡江：派行軍總管宇文述率兵3萬由桃葉山渡江奪占石頭山（今江蘇江寧縣西北），賀若弼由廣陵南渡占領京口，韓擒虎由橫江（今安徽和縣東南）夜渡。陳軍因元旦酒會，仍處醉鄉之中，完全不能抵抗，韓部輕而易舉襲占采石。正月初三，陳後主陳叔寶召集公卿討論戰守，次日下詔“親禦六師”，委派蕭摩訶等督軍迎戰，施文慶為大監軍。陳叔寶、施文慶不諳軍事，將大軍集結於都城，中派一部舟師於白下（今江蘇南京城北），防禦六合方麵的隋軍，另以一部兵力鎮守南豫州（今安徽當塗），阻擊采石韓擒虎部的進攻。隋軍突破長江之後，迅速推進。賀若弼部於初六日占領京口後以一部進至曲阿（今江蘇丹陽），牽製和阻擊吳州的陳軍，另以主力向建康前進。韓擒虎部於初七日占領姑孰（今安徽當塗）後，沿江直下，陳沿江守軍望風而降。正月初七日，賀若弼率精銳8000進屯鍾山（今南京紫金山）以南的白土崗，韓擒虎部和由南陵（今安徽銅陵附近）渡江的總管杜彥部2萬人在新林（今南京西南）會合，宇文述部3萬進至白下，隋大軍繼續渡江跟進。至此，隋軍先頭部隊完成了對建康的包圍態勢。