大軍即將出發之前，寧州邊區（大概在今天的雲南一帶）進貢上來一個琥珀瓷枕，劉裕知道後大喜，因為琥珀在中醫裏有治療外傷的作用，因此劉裕把這個琥珀瓷枕搗碎了分賜給全軍的將士，或許全軍將士們手中都分不到多少，更有甚者一些小兵還見不到這個東西，但是劉裕卻在將士們心中堅立起了他不喜財寶卻愛護士卒的美名。
劉裕這次北伐後秦，可不比上次討伐南燕時的小貓兩三隻，而是動員了全國的大軍差不多共有十多萬人吧。（對於這次出征的人數史書也沒有確切的記載，不過從劉裕安排的軍事行動可以猜出一個大概。）這出征的人數一多，那麼要考慮的東西就更多了，比如關係到人吃馬嚼的糧草問題，十萬人每天的消耗量可是非常驚人的，再比如一個糧草輜重的運輸問題。
所以大軍出發之前，劉裕都要把這些東西考慮在內，最終經過深思熟慮之後，劉裕決定把大軍分成五路，各自安排統兵的大將，四麵開花，幾路大軍分頭行進，洛陽就是第一個集合之地，等到這幾路大軍同時攻到洛陽城下，想必後秦的關東之地應該全都屬於晉朝了，然後再集合全部的晉軍一舉攻下長安城，成就千古傳業。
這第一路大軍是前鋒主力，由龍驤將軍王鎮惡、冠軍將軍檀道濟帶領步兵從淮河、淝水向許昌、洛陽進發，他們兩人算是劉裕現在竭力培養的大將之才了，在王鎮惡臨出發時，劉穆之對王鎮惡言道，“劉公這次把大任交托於你，你可要好好努力啊。”王鎮惡當場發誓，“如果我不能攻克關中之地，以後永不過長江。”
第二路大軍由新野太守朱超石、寧朔將軍胡籓率領，從襄陽向東北前進，越南陽直抵陽城（注：今河南登封東南），
第三路大軍由振武將軍沈田子、建威將軍傅弘之率領，出襄陽沿丹水而上，經武關入關中，當然這一路大軍是去牽製後秦的關中大軍的，但是《宋書。自述》裏沈約記載此路大軍隻有幾百人，可是《宋書。傅弘之傳》中又寫明”弘之率七軍沿武關入關中”，這兩者之間的記載明顯有些不符，七軍怎麼說也不隻幾百人吧，恐怕沈約同誌有誇大他祖先功勞的意思。
第四路大軍由建武將軍沈林子和劉裕的族弟彭城內史劉遵考率領，從彭城出發，沿著汴水西上，過石門再入黃河，然後開進洛陽，
第五路大軍是由建義老人冀州刺史王仲德率領，他手下的人馬中有水師也有陸路大軍，而前麵的幾路大軍都要歸他指揮，大軍從彭城出發，沿泗水入清水、濟水，再到巨野澤，而巨野澤與黃河間的人工運河就是當年桓溫北伐前燕時開鑿的“桓公瀆”，隻是幾十年沒有用過了，現在應該淤積不能過船了，所以王仲德的第一個任務就是開通這條人工河，至於劉裕就率領他的本部人馬落在後麵壓陣，這一次的北伐大業他已經不想親自指揮作戰了，更多的是為了朝廷培養後續的將才。
大軍明麵上有五路人馬，其實隻有四路是有殺敵任務的，而第三路大軍更多的是為了牽製後秦的關中大軍，劉裕這樣做不僅是為了後勤考慮，更多是為了擺出一副晉軍兵鋒銳利，聲勢浩大，後秦即將被各路大軍壓境的空前盛況，這也算得上是一種心理戰吧。
五路大軍各自出發後，劉裕就帶著他的本部人馬去往了彭城，大軍出動，糧草輜重除了要在建康城起行外，從建康城到黃河以北這麼長的道路，那麼中間就需要一個中轉站，也就是北伐大軍的後沿陣地，而劉裕把這個極為重要的地點選在了彭城。
彭城（今徐州市）自古就是兵家必爭之地，秦末漢初，西楚霸王項羽一統天下，分封諸王，他建的都城就在彭城，漢末三國之時，陶謙，曹操，劉備，呂布也是圍繞著彭城連番大戰，廝殺不休，就連南方的孫權也想要這塊寶地，後來還是呂蒙勸他這個地方處於曹操的勢力範圍之內，如果要搶它，就要與曹操死戰，對於現在的東吳不利，他才打消了這個念頭。
彭城之所以這麼重要，自是與它的地形極為特殊有關，彭城四周環繞多條河流，北麵可以從泗水開巨野澤直入黃河，南麵又有汴水等河流，再走不遠就可以直入長江，這是連通南北地域的一個重要據點，尤其是在南北兩方政權對峙的時候，彭城的地理位置就更為重要了，在以江淮為防線的幾個防禦層次中，長江遮蔽江南，淮南又翼蔽長江，淮北又翼蔽淮南，在淮北地區，其實是以彭城為根基之地，彭城地近北方中原之地，介乎南北之間，水陸交通又非常便利，可戰可守。
此次大軍出征，有兩路人馬就是從彭城出發，大軍出征的日期是選在八月中旬，就是因為春夏秋交接之時，長江與黃河的水位都會大漲，對糧草輜重與大軍的運輸與投送都極為有利。