麵對現實的失落，謝琰隻能把自己沉浸在對往日榮光的回憶中，用當年的成就來麻痹自己的自尊心，他的口頭禪是“想當年如何如何……”，而對於現實事務，則越來越厭惡。到會稽上任後，既不用心安撫民眾，也不花力氣整修武備，並與下屬離心離德，隻要想想劉牢之，謝琰怎麼會給屬下們好臉色。
有部將向他進言：“孫恩還有不少部眾，在離海邊不遠的地方，日夜窺探我們的虛實，隨時可能重新登陸。不如采取寬大政策招撫他們，給他們一條改過自新的道路。”謝琰立即搬出口頭禪來反駁：“當年苻堅有百萬之眾，我都沒放在眼裏，還不照樣讓他們到淮南來送死！孫恩不過一個小小毛賊，敗逃海島，怎麼還敢回來？他要真敢回來，那也是上天嫌他命長，打發他來捐腦袋罷了！”
結果，該來的還是來了。孫恩還有近二十萬部眾，雖能得到沿海信徒的接濟，但畢竟杯水車薪，不可能一直待在島上，就算為了吃飯也非得回來不可。隆安四年（公元400年）五月，孫恩第二次登陸，取道浹口（今浙江鎮縣東南甬江口），經餘姚（今屬浙江），攻克上虞縣，隨後進軍邢浦（今浙江紹興市東），謝琰派兵迎戰，先勝後敗，五月三十日，孫恩軍攻抵會稽城下。
得知這個消息時，謝琰正準備用餐，他勃然大怒，傲氣不減，擺出關老爺溫酒斬華雄的架勢說：“等消滅了這個毛賊我再回來吃飯！”
誇下海口後，謝琰立即跨馬而出，指揮晉軍迎戰。大概他認為與孫恩交戰根本用不著什麼戰術，幾乎一擁而上。晉軍先獲小勝，孫恩軍敗退，也可能是孫恩詐敗誘敵，謝琰揮軍追擊。因為當地河道多，塘路狹窄，謝琰的軍隊被迫拉成了一字長蛇陣，魚貫前進，首尾難以接應。謝琰追到千秋亭時，設伏在各處的孫恩軍隊突然出動，合擊調動不靈的晉軍。孫恩的軍隊利用戰船優勢，從水中用箭猛射晉軍薄弱的側翼，將晉軍切成幾斷，謝琰大敗。敗逃中，早已受夠了謝長官傲慢與白眼的部下發生了兵變，帳下都督張猛從謝琰身後砍向主將的馬，謝琰跌落馬下，與長子謝肇、次子謝峻一同戰死，三子謝混因為沒來而幸免於難。
謝琰死了，失敗的原因是驕傲輕敵。細察他的經曆，這種驕傲輕敵更像他的刻意所為，因為不如此，無法顯示他的優越，也無法彌補他的失落感。可見，有些時候，一個人的心理素質遠比智商更重要。
謝琰的死，也使東晉中央賠掉了本就不多的最後一點本錢，之後司馬元顯就算再不樂意，也非得仰仗劉牢之不可了。繼王恭被殺後，這是又一個標誌性事件。出身寒門的人進入高層，打破士族對政權的壟斷，已變成一個不可阻擋的趨勢。正是有了這個趨勢，像劉裕這樣的草根階層，才真正有機會進入最高層，從這一點來說，謝琰也算死得其所。