於是，謝石派劉牢之帶領5000精兵，先對洛澗的秦軍發動突然襲擊。秦軍被打了個措手不及，損失慘重。晉軍取得了這一仗的勝利後，士氣大振，謝石他們又指揮大軍繼續向壽陽反攻，直抵淝水東岸，把人馬駐紮在八公山邊。這時苻堅已帶了8000秦軍趕到壽陽。他聽說晉軍消滅了他的洛澗守軍，大吃一驚，不由倒吸一口涼氣，打了一個冷戰，有點沉不住氣，先前的驕氣也退了許多。這一天，他登上壽陽城樓去察看對岸的形勢，看見晉軍的陣營威嚴整齊，巡邏的巡邏，操練的操練，顯得訓練有素。苻堅又把目光移向遠處的八公山，突然覺得山上的草木晃動，好像埋伏了無數的晉軍。其實，八公山上並沒有晉兵，隻是苻堅見到晉軍的威整，一時心虛眼花，把山上的草木都當做晉兵了。苻堅看罷，感歎說：“晉軍確實是很強大啊，怎麼能說他們弱呢？”不久，晉軍渡過淝水，大敗秦軍，這就是曆史上有名的以少勝多的“淝水之戰”。
東晉名相謝安
淝水之戰時，東晉的宰相是謝安，陳郡陽夏（今河南太康）人。謝安是東晉王朝繼王導之後又一個較有作為的大族人物。年輕時，謝安很有名氣，但他拒絕做官，而是隱居東山。這以後，謝安的家勢一度衰落，為了重振家風，他才有出山任官的意向。恰巧此時，征西大將軍桓溫掌握了軍事大權，他要謝安做他的部下，並且多次派人去請他，謝安這才出山擔任了桓溫軍府的司馬（後來人們把謝安重新出來做官這件事稱為“東山再起”）。桓溫死後，東晉王朝把謝安升為宰相，此時他已40多歲了。謝安上任以後，全力安定東晉王朝內部的統治，他一麵尊重早已在長江上遊形成勢力的桓氏家族，一麵又命侄兒謝玄在長江下遊的京口（今江蘇鎮江）招募士兵，加強下遊的軍事力量，以牽製上遊。謝玄所訓練的新兵主要成員是北方流民或流民的後代，被稱為“北府兵”。這支軍隊非常有戰鬥力，成為東晉對北方作戰的一支新生力軍。在謝安當政時，東晉的經濟實力雄厚，朝廷內部相對穩定，軍事力量也比較強大。但這時的東晉，也麵臨北方前秦的威脅。公元383年，前秦王苻堅率軍南下攻打東晉，企圖統一全國。麵對前秦強大的軍事力量，東晉朝野上下一片驚慌。
許多百姓準備外逃避難，大臣們也議論紛紛，不知所措。謝安的侄子謝玄從外地急速還朝，向謝安詢問對策。謝安一副平靜的樣子，回答說：“我已經有打算了。”接著就不說話了。謝玄不敢再問，就讓部將張玄前去，重新請求指令。謝安仍然不回答，反而令家人備好車馬，帶領親戚朋友出去賞景，並與謝玄在山間別墅下圍棋取樂。謝安的棋術不如謝玄，可是這天，謝玄由於內心恐懼，在有利的形勢下卻不能獲勝。謝安望著謝玄說：“大將身在陣中，要麵對變亂而不驚，這樣才能打敗敵人。”說罷，謝安又帶領眾人遊山玩水，直到太陽落山才回府。這時候，謝安才把自己早已想好的作戰計劃，一步一步交代清楚。大家聽了非常高興，也就增強了打敗秦軍的信心。戰爭期間，謝安一直坐鎮建康指揮，鎮定自若。戰爭勝利後，謝玄派人送捷報時，他正在家中與客人下棋，看完捷報後，便隨意地把它放在床上，繼續低頭與客人下棋。客人想了解一下前方戰況，謝安卻輕鬆地說敵人被打敗了。
客人聽了非常高興，急忙出去報告這一好消息。謝安終究按捺不住心裏的喜悅，等送客人走後，他返回屋裏，過門檻時，高興得竟然連腳上穿的木屐的齒被折斷了都沒有發覺。淝水之戰的勝利，為陳郡謝氏家族增添了不少光彩，謝氏家族的聲名大震，使其與王氏家族並駕齊驅。這以後“王、謝”兩族在長江一帶一直居於顯赫的地位。