謝奕病死，謝萬被廢，使謝氏家族的權勢受到了很大威脅。升平四年（360），征西大將軍桓溫邀請謝安擔任自己帳下的司馬，謝安接受了。這本來隻是很尋常的事情，然而消息傳出以後，竟然引起了朝野轟動。在他動身前往江陵的時候，許多朝士都趕來送行，中丞高崧挖苦說：“卿屢次違背朝廷旨意，隱居東山不出，人們時常說：‘安石不肯出，將如蒼生何！如今蒼生又將如卿何！’”而謝安夷然毫不介意。桓溫得了謝安卻十分興奮，一次謝安告辭後，桓溫自豪地對手下人說道：“你們以前見過我有這樣的客人嗎？”
鹹安元年（371），對東晉朝廷來說，是十分關鍵的一年。權臣桓溫本想立功中原以提高自己的聲望，沒想到在枋頭一戰遭到慘敗。為了重立威名，他聽從郗超的建議，在鹹安元年廢黜了司馬奕，另立會稽王司馬昱為帝，是為簡文帝。此時的謝安已擔任了侍中，不久又升任為吏部尚書。他洞悉桓溫的野心，也知道簡文帝比被廢黜的司馬奕也強不了多少，隻是清談的水平略高一些而已，但他仍然忠心匡扶朝廷，竭力不讓桓溫篡權的圖謀得逞。
鹹安二年（372），即位不到一年的簡文帝就在憂懼中死去，太子司馬曜即位，是為孝武帝。原來滿心期待著簡文帝臨終前會把皇位禪讓給自己的桓溫大失所望，便以進京祭奠簡文帝為由，於寧康元年（373）二月率軍來到建康城外，準備殺大臣以立成。他在新亭預先埋伏了兵士，下令召見謝安和王坦之。
當時，京城內人心惶惶，王坦之非常害怕，問謝安怎麼辦。謝安神情坦然地說：“晉祚存亡，在此一行。”王坦之硬著頭皮與謝安一起出城來到桓溫營帳，緊張得汗流浹背，把衣衫都沾濕了，手中的朝板也拿顛倒了。謝安卻從容不迫地就座，然後神色自若地對桓溫說：“我聽說有道的諸侯設守在四方，明公何必在幕後埋伏士卒呢？”桓溫隻得尷尬地下令撤除了埋伏。
由於謝安的機智和鎮定，桓溫始終沒敢對二人下手，不久就退回了姑孰。迫在眉睫的危機，被謝安從容化解了。同年三月，桓溫得了重病。在返回姑孰之後，病情日益加重。但他還在幻想著能得到加九錫的殊榮，不斷派人催促。謝安故意拖延，對已經起草好的詔書一再加以修改，遲遲不予頒發。桓溫終於沒有如願，抱憾而死。
桓溫死後，謝安被任命為尚書仆射兼吏部尚書，與尚書令王彪之一起執掌朝政。數月後，中書令王坦之出任徐州刺史，謝安又兼總中書省，實際上總攬了東晉的朝政。為了緩和矛盾、穩定政局，謝安實行了著眼於長遠，以和諧安定為重的執政方針。他沒有趁桓溫病死的機會翦除桓氏集團，仍然信任和重用桓溫的弟弟桓衝，讓他擔任都督徐、豫、兗、青、揚五州諸軍事和徐州刺史，負責鎮守京口，後來又轉為都督七州諸軍事，兼任荊州刺史。桓衝也深明大義，認為自己的德望不及謝安，心甘情願地以鎮守四方為己任。將相關係的協調，促進了政局的穩定。當時人讚揚謝安，將他比作王導，而文雅則更勝一籌。
內部安定之後，謝安又把注意力轉向對付來自北方的威脅。當時，前秦在苻堅的治理下日益強盛，東晉軍隊在與前秦的交戰中屢遭敗績。謝安派自己的弟弟謝石、侄子謝玄率軍征討，接連取得勝利。又命謝玄訓練出戰鬥力很強的北府兵，為抗擊前秦作好了準備。