王世充和李世民在洛陽西北的青城宮列陣相對。王世充隔水傳話說：“隋室傾覆，唐帝關中，鄭帝河南，世充未嚐西侵，王忽舉兵東來，何也？”宇文士及替李世民回答道：“四海鹹仰皇風，唯公獨阻聲教，為此而來！”王世充又說：“相與息兵講好，不亦善乎？”宇文士及回答得很幹脆：“奉詔取東都，不令講好也！”
王世充處於孤立挨打的境地，所屬的州縣也紛紛降唐，但王世充依仗著兵多城堅，拚死抵抗。有一次，李世民率領五百人巡行，被王世充率萬餘人圍住，王世充部下猛將單雄信持槊直奔李世民而來，尉遲敬德躍馬上前，把單雄信刺落馬下。李世民和尉遲敬德在王世充陣中左衝右突，屈突通引領大軍殺到，王世充敗退。
隨著唐軍的步步緊逼，王世充的日子越來越不好過。他派人向河北竇建德求救。竇建德的謀臣分析認為：唐、鄭和竇建德三足鼎立，如果唐滅了鄭，竇建德獨力難支，不如助鄭攻唐，內外夾攻，打敗唐軍。如果有可能，再把鄭吞了，兩軍會合追擊唐軍，可以一舉平定天下。於是，竇建德答應出兵助鄭。
李世民精選騎兵，穿黑衣黑甲，分為左右隊，由猛將秦叔寶、程知節、尉遲敬德等率領。每次交戰，李世民親自披掛黑衣黑甲，率領這支王牌部隊打前鋒，戰無不克，王世充的部隊見了就怕。王世充的兒子王玄應帶人去虎牢取糧，又被唐將李君羨打得全軍覆沒。
李世民移兵青城宮，宮寨尚未紮好，王世充率領兩萬人前來挑戰。唐軍將領都被這陣勢嚇壞了。李世民派精兵列陣，自己登高一望，對眾將說：“賊勢窘矣，悉眾而出，僥幸一戰。今日破之，後不敢複出矣。”就命令屈突通率領五千步兵攻敵，並放起煙火。隨後，李世民親率騎兵出擊。李世民率十餘騎來回衝突，被長堤隔開，隻有將軍丘行恭跟隨。鄭兵追射，李世民的馬被射死，丘行恭把自己的馬讓給李世民，持刀步戰，終於和自己的大軍會合。這一仗打得十分慘烈，最後王世充敗退，死守洛陽城。
洛陽城守衛很嚴，大炮飛石重達五十斤，可擲二百步遠，箭簇強勁，射程極遠。唐兵晝夜攻城，四麵齊攻，十幾天沒一點效果。軍心厭戰，有人建議撤兵，李淵也下密令，讓李世民班師。李世民以為功敗垂成之際絕不能放棄，下令：“洛陽未破，師必不還，敢言班師者斬！”同時又派封德彝進京，當麵向李淵陳說利害關係。封德彝嘴巧會說，把形勢分析得頭頭是道，李淵被說服了。
王世充困在洛陽，無糧無米，公卿都吃糠，餓死的很多，戶口隻有戰前的十分之一。之所以堅守不降，等的就是竇建德來救。武德四年三月，竇建德起兵10萬，號稱30萬，水陸並進，逼進洛陽。
李世民召集謀臣和將領商議對策。眾人都認為應該退兵避其鋒芒，隻有兩個人力主迎戰。郭孝恪說：“世充窮蹙，垂將麵縛，建德遠來助之，此天意欲兩亡之也。宜據武牢之險以拒之，伺間而動，破之必矣！”薛收分析得更加透徹：“世充保據東都，府庫充實，所將之兵，皆江淮精銳，即日之患，但乏糧食耳。以是之故，為我所持，求戰不得，守則難久。建德親帥大眾，遠來赴援，亦當極其精銳，致死於我。若縱之至此，兩寇合從，轉河北之粟以饋洛陽，則戰爭方始，偃兵無日，混一之期，殊未有涯也。今宜分兵守洛陽，深溝高壘，世充出兵，慎勿與戰，大王親帥驍銳，先據成皋，厲兵訓士，以待其至，以逸待勞，決可克也。建德既破，世充自下，不過二旬，兩主就縛矣！”
李世民對薛收的分析十分讚同。他否決了蕭、屈突通、封德彝等要求退兵的主張，采納了薛收、郭孝恪的建議，派李元吉繼續包圍洛陽，自己隻率領精兵3500人東據武牢。李世民大中午出兵，王世充在城上看見，竟判斷不出李世民搞什麼名堂，也不敢出城攻擊。
李世民駐兵武牢後，就帶了五百名騎兵去試探竇建德。他讓李、程知節、秦叔寶等分別埋伏好，自己和尉遲敬德等四人去挑逗竇建德的兵將。對方五六千人出營追擊，李世民、尉遲敬德且射且退，把對方引入埋伏圈中痛殺一陣，先來了個下馬威。
竇建德被阻擋在武牢一線，幾個月不能西進，交戰多次都沒討到便宜，運糧的隊伍又被唐將王君廓襲擊。軍心動搖。
竇建德營中也有能人。謀士淩敬建議：“大王悉兵濟河，攻取懷州、河陽，使重將守之，更鳴鼓建旗，逾太行，入上黨，循汾、晉，趣蒲津，如此有三利：一則蹈無人之境，取勝可以萬全；二則拓地收眾，形勢益強；三則關中震駭，鄭國自解。為今之策。無以易此。”
淩敬這個主意確實厲害。如果得以實施，李淵起家的太原一帶首先不保，這會嚴重動搖唐軍的鬥誌。另外，當時唐朝關中空虛，突厥進犯並州牽製著李建成的兵力，李靖正和蕭銑打成一團，如果李世民、李元吉不回救關中，竇建德就可以直取長安。
很可惜，竇建德未能采用此計。他本來傾向於淩敬的意見，但王世充的求救使者圍著他朝夕啼哭，又暗地賄賂竇建成的部將，讓他們阻止這一計謀的實施。這些將領對竇建德說：“淩敬書生，安知戰事，其言豈可用也！”於是，竇建德改變了主意，不用淩敬之計。竇建德的妻子勸他采納淩敬的建議，竇建德還發了脾氣：“此非女子所知！吾來救鄭，鄭今倒懸，亡在朝夕，吾乃舍之而去，是畏敵而棄信也，不可。”
唐軍的間諜報告說，竇建德準備待唐軍草料用盡，到河北岸牧馬時襲擊武牢。李世民將計就計，領兵渡河，並將千餘匹戰馬放在河邊誘敵，晚上又秘密返回武牢。竇建德果然中計，全軍出動，前後綿延二十裏。唐軍將領登高望見，都很害怕。李世民說：“賊起山東，未嚐見大敵，今度險而囂，是無紀律，逼城而陣，有輕我心；我按甲不出，彼勇氣自衰，陣卒久饑，勢將自退，追而擊之，無不克者。與公等約，甫過日中，破之必矣！”雙方各派了幾百兵卒交戰一陣，不分勝負。李世民派人過河，把放牧的千餘匹戰馬接了回來。
竇建德大軍列陣待敵，從早上一直等到正午，士兵們又饑又累，都坐在地上。飲水不夠，兵卒亂爭，人心思退。李世民派宇文士及領兵三百出去試探，對方的陣勢有點亂，李世民下令全線出去，自己率領輕騎首先衝入敵陣。當時竇建德的朝臣正在朝拜，見唐軍衝來，都往竇建德跟前跑，竇建德令騎兵應戰，騎兵卻被這幫朝臣所阻，不得通過，竇建德又讓朝臣們退開。就在這一進一退之間，唐兵已經衝到跟前。竇建德張皇失措，退往東陂。李世民的騎兵再度衝擊，大戰一場，直殺得天昏地暗，塵埃漲天。李世民率領史大奈、程知節、秦叔寶等人，把旗子卷起來衝入對方陣中，殺到陣後麵。張開唐軍旗幟。竇建德的士兵看見後，以為自己被包圍了，陣勢立即崩潰，唐軍追殺三十裏，竇建德受傷被擒。