果然伍子胥根本不相信到郢都後能救父親，更不相信平王會重用他們的鬼話。但是伍尚堅持要按父親來信的意思去郢都，他對弟弟說：“我的才智遠不如弟弟你，我回去殉父盡孝，你為父親複仇為孝。我們兄弟就此永訣了！”伍子胥向哥哥行了四個跪拜禮後，眼看著哥哥和使者離開了。
伍尚走後，伍子胥料定馬上就會有兵馬來抓自己，就對妻子賈氏說：“我要逃到別的國家設法為父兄報仇，留下你孤身一人，讓我怎麼能放心呢？”
賈氏激憤地對他說：“大丈夫行事怎麼能拖泥帶水？你既然有父兄的冤仇，就像刀子插在你的心肺上一樣，怎麼能在這種危急時刻，還因為一女子而躊躇呢？你趕快走，不要再掛念我了！”話後回屋自縊身亡了。伍子胥忍淚草草安葬了妻子，就身著素服帶著弓箭佩劍向東南去了。
大約走了三百裏，楚國大夫武成黑帶著二百名士兵追來了。伍子胥見追兵已近在百步，張弓搭箭“嗖”的一聲，給武成黑駕車的馭手應聲落地而亡。武成黑嚇得翻身下車企圖逃跑，伍子胥把箭搭在弦上，指著武成黑怒目說道：“今天我暫時留下你的小命，回去告訴楚平王：要想保存他的江山社稷，就好好對待我的父親和兄長，否則我一定要滅掉楚國，親手砍下楚平王的腦袋！”武成黑心驚膽戰地帶著隨從回去了。
楚平王聽說伍子胥沒有歸案，立即命令費無極將伍奢父子斬首，臨刑時伍尚大罵費無極讒言惑主，伍奢製止道：“忠奸自然有天下公論，你又何必罵他呢？我擔心的是伍員沒有被殺掉，從此楚國君臣就寢食難安了！”說罷坦然地引頸就戮了。圍觀的老百姓無不為他們的冤屈而落淚，據說當時的天氣也頓時變得風雨淒楚。
楚平王為了斷絕伍子胥的去路，立即發出緊急通告：任何人隻要緝拿到伍子胥，賞糧五萬擔，同時封上大夫爵位。膽敢容留或放縱的，全家處斬！一時間伍子胥逃向吳國的遙遠路途更加艱險了。想到太子建在宋國，於是他輾轉來到了宋國並找到了太子建。由於當時的宋國內外交困，伍子胥就和太子建等投奔了鄭國。鄭定公十分熱情地接待了他們，並告訴他們要想打敗強大的楚國，最好的辦法是依靠晉國。於是太子建留下伍子胥，自己去晉國拜見了晉傾公。然而此時的晉國六卿十分強大，國王根本就無力統治自己的江山。晉傾公聽信荀寅的歪主意，企圖讓太子建和伍子胥做內應，晉國先滅了鄭國，將鄭國送給太子建，然後再共同進攻楚國。太子建答應了荀寅的條件，回到鄭國對伍子胥說了這個計劃，伍子胥勸他說：“鄭定公待我們如此仗義，我們怎麼能這樣做？而且你這純粹就是企圖僥幸成功，如果你一定要堅持的話隻能是惹火燒身！”
太子建急功近利果然陰謀敗露，鄭定公殺了太子建，伍子胥帶著公子勝逃向吳國。這一次的逃亡就更加艱險了。楚國依舊在通緝他，鄭國也要捉拿他，其中伍子胥過韶關一夜急白頭的故事更是廣為人知。而在今天的武昌附近渡江，更演繹了一出令人無限感慨的故事。在後麵追兵步步緊逼，前麵滔滔江水隔阻的急難時刻，一個老漁翁不僅送了他吃的，還親自渡他過江。伍子胥上岸後叮囑老人請他保密，不要把他的行蹤告訴追兵。老人歎了口氣說：“我敬重你是人才，所以不貪圖高官厚祿而幫助你，沒想到你卻這樣不信任我，如果追兵恰巧也從這兒追你，那我還說得清嗎？”於是老人沉江自盡了。渡過大江後，一女子給他送了飯吃，也以同樣的原因投水自盡了。
在現在蘇州附近，伍子胥結交了勇士專諸並和他結拜為兄弟。公元前520年伍子胥到了吳國當時的都城梅裏（今江蘇無錫附近）。這時的他已窮困潦倒到了極點，隻能在大街上邊吹簫，邊唱出自己悲涼的身世。不久被公子光的謀士發現並推薦給了公子光。約公元前516年，聽到楚平王死去的消息後，伍子胥大哭不止。公子光感到十分奇怪，問他為什麼仇人死了還如此痛心，伍子胥回答說：我傷心的是再沒有機會親自砍下他的腦袋了！
原來公子光是吳王諸樊的兒子，由於諸樊定下了兄死弟及的王位繼承方式，想讓賢能的四弟最終能坐上王位，沒料到老三死後，老四季劄堅決不當國王，於是老三的兒子僚坐上了吳王的位子。公子光當然是懷恨在心，於是在伍子胥等人的策劃下，於公元前514年左右，由專諸魚腹藏劍刺殺了吳王僚，公子光成了新的吳王，自號闔閭，從此史書稱其為吳王闔閭，伍子胥成了他最得力的大臣。
吳王闔閭穩定政權後，就讓伍子胥選址修築了宏偉而堅固的姑蘇城（今江蘇蘇州），作為吳國新的都城。在伍子胥的治理下，吳國的聲威也明顯提高。闔閭為了徹底鏟除潛在的敵人，在伍子胥的周密部署下，再次利用刺客在衛國刺殺了吳國公子慶忌，自此再也沒有誰會威脅他的王位了。這時伍子胥提出了出兵攻打楚國的建議，並推薦了孫武為將。
吳王闔閭見了孫武，他們談得十分投機，對他作的兵法十三篇更是賞識。孫武還對闔閭說，如果用我的辦法練兵，別說是陛下您的軍隊，就是宮娥彩女，我也能讓他們令行禁止。闔閭一時興起，就立即召來三百宮女，分為左右兩隊，並讓自己寵愛的兩個妃子分別擔任隊長，讓孫武操練她們。孫武說大王既然要檢驗我如何練兵，那就請您容許我一切按軍旅要求來做，闔閭答應了他的條件，並安排力士數人為牙將，還設軍法官一名、軍吏兩名，一切就和要開赴戰場一樣。