桓溫的大軍不是不疲憊嗎？那就想辦法讓他們累一點。燕軍放出風來：桓溫撤退路上的河流、水井都已被慕容德軍下過毒。其實未必都下了毒，這隻是一種心理戰。但生性謹慎的桓溫寧可信其有，沿途命令士兵“鑿井而飲”。這樣，桓溫的大軍一麵撤退，一麵打井，就這樣南撤了七百裏。而慕容垂則把步兵留下，隻率八千騎兵在後麵慢慢地跟著，與桓溫保持著相當的距離，他這樣做，就是要保持已方軍隊的體力，好在大戰時收到以逸擊勞的效果，同時麻痹晉軍，給他們造成燕軍不敢追擊的安全感。
在古代，步兵在正常情況下，一天可以行軍五六十裏。這樣，700裏的路程夠他們走十多天。漸漸地，攻其無備的時機已經成熟，而出其不意的打擊地點，慕容垂選擇了襄邑（今河南睢縣）。盡管曆史習慣稱此戰為“枋頭之戰”，但實際上在枋頭發生的，隻是對峙，真正大戰發生地點，是在襄邑。事先慕容德在桓溫南撤時已離開石門，利用騎兵在機動上的優勢，早早趕到襄邑，設伏以待。這次會戰，燕軍參戰兵力大約一兩萬人，桓溫率五萬人北伐，雖有小挫但損失不大，此時兵力當在四萬以上。兵力上晉軍占優，但燕軍是養精蓄銳，以逸待勞，晉軍是疲憊之師，歸心似箭。在慕容垂、德兩兄弟的突襲下，晉軍大潰，陣亡超過三萬人。前秦的援軍也趁火打劫，桓溫再敗，又損兵近萬。
桓溫枋頭大敗後，深以為恥，太和六年（371年）正月，桓溫攻克壽春，他很高興地問郗超：“這一戰可以雪枋頭之恥嗎？”
郗超說：“沒有。”
過了許久，郗超對桓溫說：“明公您承擔著天下的重任，如今以六十高齡，卻在一次大規模的行動中失敗，如果不建立非常的功勳，就不足以鎮服、滿足百姓的願望！”
桓溫說：“那麼該怎麼辦呢？”
郗超說：“明公不幹伊尹放逐太甲、霍光廢黜昌邑王那樣的遊戲，就無法建立大的威勢與權力，鎮壓四海。”
桓溫曆來懷有此心，對郗超所說的深以為然，於是就和他商定計議。
那麼如何罷免皇帝呢？不久，文武百官中悄悄流傳著一個內幕消息：皇帝司馬奕不能生育，還讓身邊的寵臣與自己的後宮美人淫亂，還生了三個兒子，而且這些冒牌龍種還將被冊立為太子，準備繼承晉室天下。
這還了得，皇室要改姓了，國家要變色了。
桓溫“被迫”出手幹預了，他麵見早已退居後宮不管事的褚太後，請求廢黜司馬奕，立丞相、會稽王司馬昱為皇帝，他還草擬好詔令，隻等褚太後簽名。
褚太後也不是等閑之輩，她看了幾個字，就明白其中曲折，來個順水推舟，說：“我自己本來就懷疑是這樣！”看了一半，又說：“不幸遭受了這樣的種種憂患，想到司馬家死去的人和活著的人，心如刀割！”這話表麵是附和桓溫，其實也是為司馬家悲歎。
太和六年（371年），在桓溫的操作下，東晉換了新皇帝——司馬昱，也就是簡文帝。司馬昱本是丞相，分管內政，是朝中除桓溫外最有實力的人，但是有證據表明，他與桓溫之間暗通款曲。桓溫的如意算盤是，司馬昱為人唯唯諾諾，很聽話，他上台後很快就可以把帝位傳給桓溫。
但是桓溫沒有算到的是，司馬昱被桓溫的氣勢嚇壞了，他總擔心自己什麼時候被人做掉，為了自保，他不得不重用謝安等人來牽製桓溫。