大司馬桓溫打算北伐中原，派謝尚率部進攻壽春，晉號為安西將軍。當初，苻健部將張遇向謝尚投降，謝尚對他不加安撫。張遇十分惱怒，舉起反旗占領許昌。謝尚率兵討伐，為張遇所打敗，謝尚被送交給廷尉治罪。當時康獻皇後臨朝執政，就是謝尚的外甥女兒，特令將謝尚降職為建威將軍。開始，謝尚前往壽春，派建武將軍、濮陽太守戴施據守枋頭。適逢冉閔之子冉智與其大將蔣幹來歸附，又派使者劉猗前往謝尚處請求援救。戴施留住劉猗，詢問求取傳國璽，劉猗返回，將事情原本告訴蔣幹。蔣幹認為謝尚已敗，無法援救自己，便猶豫不決。
戴施派遣參軍何融率壯士一百人衝破包圍進入鄴城，登上三台幫助守城，何融騙蔣幹說：“現在可以把傳國璽交付給我。強寇在城外，道路封鎖難行，我等也不敢貿然運送傳國璽，可派一名使者衝出城去奔告朝廷。天子聞知傳國璽已在我處，知道足下等人至誠之心，必定派遣大軍救援，並將厚封足下等人。”蔣幹便把傳國璽交給了何融，何融攜帶傳國璽奔馳而去返回枋頭。謝尚派振武將軍胡彬率三百騎兵迎接傳國璽，送至京師。當時苻健部將楊平戍守許昌，謝尚派兵襲擊許昌，打敗了楊平，謝尚被征召回朝，授職給事中，賞賜軺車、鼓吹，戍守石頭城。
永和年間（345～356），謝尚升遷尚書仆射，出任都督江西淮南諸軍事、前將軍、豫州刺史，給事中、尚書仆射不變，鎮守曆陽，加封都督豫州揚州之五郡軍事，在任頗有政績。上表天子請求回朝，因而留任京師，代理尚書仆射事。不久謝尚晉號為鎮西將軍，鎮守壽陽。謝尚於是搜集查訪民間樂人，並製造石磬，為朝廷準備太樂。江南一帶有鍾石之音樂，是從謝尚開始的。
桓溫北伐平定洛陽，上疏朝廷請求任命謝尚為都督司州諸軍事。謝尚準備前往洛陽守城，因病未上任。升平初年（357年），謝尚又被任命為都督豫、冀、幽、並四州。病重，征召回朝拜官衛將軍，加散騎常侍，未至，病逝在曆陽，終年五十歲。朝廷封贈為散騎常侍、衛將軍、開府儀同三司，諡號為簡。
謝尚無子，堂弟謝奕將兒子謝康過繼給謝尚承襲其爵位。