太宗簡文皇帝鹹安元年（公元371年）
大司馬溫恃其材略位望，陰蓄不臣之誌，嚐撫枕歎曰：“男子不能流芳百世，亦當遺臭萬年！”
術士杜炅能知人貴賤，溫問炅以祿位所至，炅曰：“明公勳格宇宙，位極人臣。”溫不悅。溫欲先立功河朔，以收時望，還受九錫。及枋頭之敗，威名頓挫。既克壽春，謂參軍郗超曰：“足以雪枋頭之恥乎？”超曰：“未也。”久之，超就溫宿，中夜，謂溫曰：“明公都無所慮乎？”溫曰：“卿欲有言邪？”超曰：“明公當天下重任，今以六十之年，敗於大舉，不建不世之勳，不足以鎮愜民望！”溫曰：“然則奈何？”超曰：“明公不為伊、霍之舉者，無以立大威權，鎮壓四海。”溫素有心，深以為然，遂與之定議。
王猛率兵三萬，後加兵至六萬，春發秋收，攻取鄴城，一舉滅燕。
消息傳到桓溫這裏，老桓肯定是羨慕嫉妒恨。羨慕的是苻堅對王猛的支持絕對夠力，嫉妒的是這個沒有良好衛生習慣的北方窮漢竟然奏此大功，恨的是朝廷上下苟且偷安，對自己北伐扯胳膊拉腿看笑話。
秦滅燕，北方東西合為一體，儼然當年晉滅吳之前的局勢。桓溫知道，要從苻堅、王猛手裏奪回河、洛、幽、並更是做夢都不可能了。怎一個鬱悶了得！
老桓有名言曰：“男子不能流芳百世，亦當遺臭萬年！”如今流芳的大路堵上了，遺臭的洞口卻開著，桓溫出口受阻，於是眼光向內擴大內需。郗超揣摩透了桓溫的心思，建議桓溫學習伊尹、霍光好榜樣，改選皇帝。
是年（371年）十一月，桓溫回到了闊別多年的建康，給褚太後打報告，請求廢掉皇帝司馬奕，立丞相司馬昱，而且把廢立的文告都準備好了，就等太後簽署。
褚太後平常沒事在佛屋燒香，看來佛教已經成為一種時尚在上流社會流行。褚太後倚戶看桓溫的奏表，看了數行就說：“我就說嘛，桓溫好不恙地回到建康，肯定是有大事。”女人敏感，搞政治的女人尤其敏感，做了太後的女人那就是最敏感。
褚太後異常冷靜，命人取筆過來，在桓溫的奏疏上加了這麼幾句話：“未亡人不幸罹此百憂，感念存沒，心焉如割。”不說同意也不說不同意，隻是表達對時世人生的無限傷感，這幾句可與陳子昂的“前不見古人，後不見來者，念天地之悠悠，獨愴然而涕下”媲美。
褚太後那意思是說：“你們這幫爺們兒真沒勁！”但是桓溫還是興致勃勃地完成了他的改選計劃。問題是皇帝“素謹無過”，怎麼辦？沒有最狠的，隻有更狠的，桓溫的改選辦就策劃說，皇帝陽痿，他的三個兒子血統不純。
司馬奕是真陽痿還是被陽痿，已經無從考證了，因為陽痿離婚的不少，但因為陽痿從皇帝寶座上下來的卻不多。“帝著白帢單衣，步下西堂，乘犢車出神虎門，群臣拜辭，莫不歔欷。”鳳凰落架不如雞，真龍下台不如蟲，司馬奕可憐兮兮的樣子定格在群臣的記憶裏，消失在建康這座陰氣頗重的古都外。
被桓溫推舉上台的皇帝司馬昱，其實一直以宗室王身份在朝廷打理朝政。元帝司馬睿時代是“敦總征討，導專機政”，眼下是“溫總征討，昱專機政”。司馬昱主政也就是凡事遷就桓溫，自己確實有不同意見，也絕不敢公開表達，如在北伐一事上隻能是悄悄扯後腿。但是桓溫在外，總以為這位王爺沒有主張就等於是自己的內應，這麼多年下來感覺還合作愉快，提拔一個軟弱的王爺做皇帝符合桓溫的利益，所以就把司馬昱這個搭檔推上去了。
當時有一個比較強悍的宗室王爺，就是武陵王司馬晞，桓溫很忌憚他。桓溫和當年吳國的諸葛恪一樣，在外麵打了敗仗，就在家裏靠政治迫害立威，他殺了庾氏、殷氏諸族子弟，並上表固請誅殺司馬晞，詞甚酷切。