其實機會已經悄悄降臨到他身邊。劉裕十四歲那年，一個能幹的三十四歲貴公子到與京口僅一江之隔的廣陵走馬上任，就任建武將軍、兗州刺史﹑廣陵相，監江北諸軍事，開始招兵買馬，編練新軍，他的名字叫謝玄。兩年後，謝玄移鎮京口，因當時京口又叫“北府”，這支新建的精銳之師便有了一個威名遠揚的名字——北府軍！
謝玄，字幼度，出身屬於頂級士族的陳郡謝家，父親是安西將軍謝奕，叔父是大名鼎鼎的江左名相謝安。他幼年時曾隨叔父一起在東山隱居，因為聰明，悟性高，深得謝安的喜愛。
連一向對謝家不滿的郗超都曾評價他說：“謝玄幹主管很有一套，哪怕是一個再平庸不過的常人，他都能夠找到人家的長處，並將其安排在最合適的位置，充分發揮才幹。”對於謝玄，大概沒有比郗超這句話更客觀的評價了，謝玄就是一個頂級的職業經理人！
有些文章把謝玄稱為天才名將，這種說法似顯過譽。從謝玄所經曆的一係列會戰來看，他並沒有表現出特別過人的指揮才能，不過這無損於他的光輝形象，就像比爾?蓋茨用不著自己去編寫Windows源代碼，但提到視窗操作係統，人們仍然隻會想到他一樣。若要以能力相比的話，他接近晚清的曾國藩，用兵能力算不上一流，不過帶兵的能力比曾國藩強，絕對是一流的。
這是一個極具組織才能和領導才能的總經理，他關心愛護下屬，理解信任下屬，善於發現人才價值，挖掘人才潛能，並且賞罰分明，與部下同舟共濟、榮辱與共。他雖然出身豪門士族，卻較少門第偏見，於是，北府便成為了當時人才的彙集中心。著名的人才有：彭城劉牢之、東海何謙、琅琊諸葛侃、樂安高衡、東平劉軌、西河田洛、晉陵孫無終等，這些人基本上都出身寒門，但都被謝玄以不計貴賤的態度委以重任，這在東晉帝國的其他政府部門幾乎是不可能的。這些人才中，最重要的人才是劉裕的老鄉和未來的老領導劉牢之。
正是有了謝玄這個一流的CEO，吸引了大批良將加盟，再加上京口、廣陵一帶大量武裝流民作為高素質兵源，強強聯合，北府軍，這支兩晉時代最強的職業化雇傭軍，便在很短的時間內奇跡般地締造出來了。
北府軍成立不到兩年，就迎來了第一筆大業務。
晉太元三年（378年）八月，前秦主苻堅命兗州刺史彭超、後將軍俱難、洛州刺史邵保等率七萬大軍攻晉。第二年，前秦軍攻克盱眙，生擒晉高密內史毛璪之，又在堂邑（今江蘇六合）大敗晉軍，東晉舉國危機。危難關頭，方顯英雄本色，謝玄、劉牢之等率領的北府軍集結停當，從廣陵出發，隻用了短短半個月時間，經過三阿、盱眙、淮陰、君川四次會戰，北府將士們連敗秦軍，取得了全殲前秦彭超、俱難七萬餘人的輝煌戰績！彭、俱二將僅逃一命。這是晉軍繼桓溫首次北伐之後獲得的對前秦作戰的最大勝利，雖然比起幾年後將要發生的戰爭來，這次勝利仍然隻能算小巫。
這次戰爭發生的時候，劉裕隻有十六歲，他肯定還沒有投軍。但不知不遠處金戈鐵馬的回響是否曾激蕩起少年不平靜的心？當他帶著崇敬的心情擠在人群中，看著凱旋的北府軍勇士列隊入城時，有誰能想到，宿命中他將成為這支英雄軍隊的主宰！