在桓玄派桓謙等抵抗劉裕時，其實已經萌生離去的念頭，並命殷仲文準備船隻。桓謙等敗後，桓玄就於三月二日與一眾親信西走。桓玄當天沒有進食，隨行人員就進糙米飯給桓玄，但桓玄吞不下，年幼的桓升抱著桓玄撫慰他，更令桓玄忍不住心中悲傷。
桓玄一行一直逃到尋陽，得江州刺史郭昶之供給其物資及軍隊。後挾持晉安帝至江陵，在江陵署置百官，並且大修水軍，不足一個月就已有兵二萬，樓船和兵器都顯得很強盛的樣子。不過桓玄西奔後怕法令不能認真執行，就輕易處以死刑，故令人心離異。
及後何無忌擊敗桓玄所派何澹之等軍，攻陷湓口，進占尋陽，然後與劉毅等一直西進。桓玄亦自江陵率軍迎擊，兩軍於五月十七日在崢嶸洲相遇，當時桓玄軍雖然有兵力優勢，但因桓玄經常在船側泛舟，預演敗走時的動作，於是士眾毫無鬥誌，在劉毅的進攻下潰敗，焚毀輜重乘夜逃走，郭銓遂向劉毅投降。
桓玄趁機挾持晉安帝向西逃走，拋下晉穆帝皇後何法倪及安帝皇後王神愛於巴陵。殷仲文當時以收集散卒為名移駐別船，並趁機背叛桓玄，迎二後回建康。
桓玄於五月二十三日回到老巢江陵，馮該勸桓玄再戰，但桓玄不肯，更想投奔梁州刺史桓希。不過當時人心已離，桓玄的命令都沒有人遵行了。次日，江陵城中大亂，桓玄與心腹數百人出發，到城門時隨行有人欲暗殺桓玄，但不中，於是彼此廝殺，桓玄勉強登船，身邊人員因亂分散，隻有卞範之跟隨在側。桓玄正打算到梁州治所漢中時，但屯騎校尉毛修之誘使桓玄入蜀，桓玄聽從。而當時正值寧州刺史毛璠去世，益州刺史毛璩派了侄孫毛祐之及參軍費恬等領數百人送毛璠喪至江陵，並於五月二十六日在江陵城西的枚回洲與桓玄相遇，二人於是進攻桓玄，箭矢如雨，桓玄寵信的丁仙期、萬蓋等為桓玄擋箭而死，益州督護馮遷跳上桓玄坐船，抽刀向前，桓玄拔下頭上玉飾遞給馮遷，說：“你是什麼人，竟敢殺天子？”馮遷說：“我這隻是在殺天子之叛賊而已！”桓玄遂被殺，享年三十六歲。桓玄死後，堂弟桓謙在沮中為桓玄舉哀，上諡號為武悼皇帝。桓玄頭顱則被傳至建康，掛在大桁上，百姓看見後都十分欣喜。
桓玄是死了，可是隨著桓玄的死，接下來上台的是劉裕，這位劉裕是隸屬於謝安創建的北府兵的手下，可是謝安怎麼也不會想到自己一手創立的兵隊會將自己忠心的王朝埋葬。不過桓玄有一項功績值得寫，那就是他將竹簡記錄廢除了，轉變為紙張記錄的方式。
桓玄在位時，曾頒布改簡為紙的命令。自蔡倫改進造紙術以來，紙張雖然不斷推廣使用，但國家政令仍采用簡牘。桓玄下詔：“古無紙，故用簡，非主於敬也。今諸用簡者，皆以黃紙代之。”從此以後，紙張才完全代替簡牘，成為朝廷公文的書寫載體。