此時，南方國民黨的北伐軍已經出動，湖北督理陳嘉漠不斷急電請吳佩孚回武漢主持對南軍事。吳佩孚順坡下驢，表示願意把北方軍事完全交給奉魯軍負責。張作霖看清直軍缺乏戰鬥力的現實，因此不再指望直軍，改由直魯聯軍與奉軍擔任進攻南口的主攻。經與吳佩孚商量，任命張宗昌為前敵總司令，褚玉璞為總指揮，並將奉軍炮兵全部交其使用。
從7月19日開始，南口戰役進入了第二階段，即以奉軍和直魯聯軍為主，直軍予以配合。8月1日，張學良、張宗昌分赴沙河、羊坊督戰。直魯聯軍以王棟為前敵總指揮，率部沿京綏鐵路左側發起攻擊。奉軍第十軍於珍部沿鐵路右側發起攻擊。奉軍先以大炮轟擊，然後以坦克、步兵衝鋒，國民軍依仗堅固工事還擊，戰況空前慘烈。雙方在龍虎台、關山嶺、虎峪村、得勝口等地惡戰，白刃肉搏一百多次。8月8日，奉軍攻占居庸關，繼而攻占營子城，偏地峪、鐵盧溝、毛司台、落馬坡等要隘，鐵甲車攻破南口陣地外壕。8月14日，奉軍第十軍於珍部攻下南口。15日，張作霖通電報捷說：南口為長城著名要塞，重巒又疊嶂，自十四年九十月間，西北軍在此建築洋灰石子工事，直魯軍、鎮威軍以十餘萬人，自八月一日總攻，至十四日克之。”由於吳佩孚的直係在第一階段久攻不克，作戰不力，張作霖在這份電報中竟然隻字未提吳佩孚的直軍。
8月15日，國民軍下達全線總退卻令，韓複榘、石友三等部擔任掩護。宋哲元率多倫、沽源方麵各軍經張北西退。鹿鍾麟率南口、延慶方麵各軍經京綏路西行。徐永昌、方振武及石友三等部自蔚縣、廣靈及晉北雁門關去綏遠。國民軍以平地泉為第一防線，卓資山、和林為第二防線。
8月15日，奉軍占領居庸關、青龍橋、康莊、延慶。16日，直軍田維勤部占懷來。奉軍吳俊陞部攻占沽源。19日，直軍與奉軍先後進駐張家口。與此同時，山西晉軍收複了晉北全部失地。
國民軍全線西撤，不明真相的中下級軍官及士兵以為戰敗，士氣低迷，大量軍事物資沿路遺棄，損失慘重。晉軍商震利用與國民軍內部人士的關係，沿途進行拉攏分化。韓複榘、石友三、陳希聖等部先後被晉軍收編。鄭金聲、張自忠、張萬慶等部也先後投降了閻錫山。張之江、鹿鍾麟、宋哲元等率部撤到了綏西一帶。此時，國民軍所餘諸部大多殘破不全，隻有一軍劉汝明部及三軍徐永昌、五軍方振武等部保持了較完整的建製，但也嚴重減員。全軍除駐甘肅的兩個師外，包括韓複榘、石友三諸部不滿5萬人。
南口大戰由於吸引了奉直兩係的主力部隊，從而為廣東國民革命軍北伐創造了有利時機。北伐軍在兩湖的勝利，與南口大戰牽製了吳佩孚直軍主力不得回師有很大關係。1928年7月9日，蔣介石在追悼南口陣亡將士大會上說：“當革命軍自粵出發，未幾下桂赴湘。彼時正值西北革命同誌，與反革命者激戰南口。賴諸烈士之犧牲，直軍不能南下守鄂，北伐軍遂長驅北上，衝破長嶽。後日西北同誌，雖退綏甘，而北伐大軍，已以破竹之勢，消滅反動勢力，建立政府於武漢。是北伐成功，多賴南口死難烈士。革命同誌，幸勿忘之也”。
對於張作霖和吳佩孚來說，南口大戰雖然取得了勝利，但卻耗費了大量人力物力，尤其是耗費了大量寶貴的時間，在戰略上犯下了致命的錯誤，應該說是得不償失的。盡管如此，張作霖借著河南之戰和南口之戰的勝利，已經離入主中原越來越近了。