該做的都做了，帶著一家人，桓玄也出發了。
潯陽倒也不遠，行程不到半月，順流西下就可以到達江陵，桓玄估摸著自己算是能做到遙控荊州。至於原江州刺史姐夫王愉，桓玄讓他回建康了，還不忘交代他在聖上和太傅麵前多說他幾句好話。雖然這個妻弟是不太厚道，但在幾月的相處下來，他覺得這人還是有可取之處的，但他還在氣頭上，冷哼一聲就走了。
在去江州的路上，有一條消息讓桓玄特別不舒服，那就是楊佺期和殷仲堪進攻郗恢所領的雍州。
在桓玄隨殷仲堪起兵，朝廷還沒下詔任命桓玄為江州刺史之時，有消息傳他要謀取雍州刺史的位置。當時郗恢就很害怕桓玄會來，召眾人商議，這些人也都忌憚桓玄在荊州的勢力，得出的一致結論是：如果是楊佺期來，每個人同心協力抵抗，還有勝算，如果是桓玄來，恐怕就不是他的對手了。
不久，他就聽說朝廷派楊佺期來代替自己，就和南陽太守閭丘羨商議，派兵守住雍州，抵抗佺期。
楊佺期也聽說郗恢對桓玄的恐懼，就宣稱桓玄要進攻這裏，自己是來打頭陣的，雖然這樣做有損自己的威風，但這樣從心理上讓敵人畏懼，勝利的概率就高很多。
出乎意料的是效果不是一般的好，聽說這事後，郗恢的部下都潰散了，郗恢看看也就算了，請求投降。不戰而屈人之兵，楊佺期順利進城，他做的第一件事就是斬殺閭丘羨。楊還算厚道，釋放郗恢一家人，讓他們回建康。撫慰將士，安撫百姓，修繕城池，簡練甲卒，楊佺期倒在雍州獲得好評。
至於郗恢來說，這也不算什麼，雖然楊是帶著欺騙奪取雍州，但畢竟這也是朝廷下的指令。以郗家在朝廷的威望，混口飯吃還是行的。
不過，有人不想讓他活下去，那就是殷仲堪。這兩個人沒什麼大仇，隻是，當初在先帝孝武帝的手下時，郗恢和他都受信任，恢仗著家世，不怎麼看得起他。這次仲堪起兵，他擁護朝廷，稍稍抵抗過殷的將士。還有殷還忌憚他，留著可能是個禍害，除了就了了。
這些，郗恢都沒想到，桓玄想到了。玄覺得郗恢會遇到危險，對於要不要救濟他，桓玄猶豫了。雖然沒有深交，他從心裏覺得郗恢這人不錯，大度有風範。不過，他也不想得罪殷仲堪，如果阻止這件事，可能自己也會惹禍上身。
就在桓玄猶豫間，殷仲堪已經派人在夏口暗殺了郗恢和他的四個兒子，向上報告是附近的一群蠻人所殺，司馬道子等也不追究。
幾年在荊州的共同相處，桓玄對殷的了解也算得上透徹，殷有時候行事是比較狠，但還沒有像這次這麼爽快利落，看來殷的心態也在改變，自己更要想好該如何應對他。
思來想去，桓玄就把時任始安太守的卞範之引為自己的長史。桓玄修書與他，言辭甚懇切，範之一笑，也就奔江州去了。靈寶終於有自己的實力了，他覺得在桓玄手下做事會比自己在這裏有趣很多。
正當桓玄加快腳步謀劃自己將來時，東晉國土上又起事端。
這次的造反者桓玄沒見過，而且起兵的首領和民眾都比較可笑，他也就不怎麼在意。他沒想到，這次造反給這個已經搖搖欲墜的政權重重一擊。