夫差住在梧宮內，一連三夜都聽到小兒唱同樣的歌，然而終未能拘住緋衣童子，甚是煩惱，於是起駕返回吳都。夫差升朝，諸臣均來慶賀伐齊凱歸。伍子胥亦到朝堂，獨無一言。夫差責備道：“相國諫寡人不當伐齊，今寡人得勝而回，諸臣皆有功，唯相國無功，相國豈不自羞麼？”
伍子胥挽起臂袖，扔下佩劍，大怒道：“臣聞：‘天之將亡人國，先逢其小喜，而後授之以大憂。’今吳勝齊不過小喜也，臣恐大憂之即將到了。”
夫差生氣道：“寡人久不見相國，耳邊頗覺清淨，今相國又來絮叨喧擾寡人麼？”乃掩耳瞑目，坐於堂上。俄頃，夫差忽睜眼直視良久，大叫道：“怪事！”
諸臣道：“大王見到了什麼？”
夫差道：“寡人看見四人背相著背倚在一起，須臾四人四分而走；又見堂下兩人相對，北向人（麵向北之人）殺南向人（麵向南之人）。諸臣可曾看見麼？”
諸臣皆道：“臣沒看見。”
伍子胥道：“臣以為，四人相背而走，乃四方離散之象。北向人殺南向人，為位卑者反位尊者，臣弑君也，今大王不知警覺省悟，必有弑身亡國之禍。”
夫差怒道：“相國之言太過不祥，寡人惡聞汝言！”
伯嚭道：“相國何以專反其意言而掃大王之興？臣以為，四人四分而走，乃四方離散，奔走吳庭之象，是以吳國霸王，將有代周之事，此亦位卑者反位尊者，臣犯其君也。”
夫差道：“太宰之言，足開寡人心胸。相國老了，言不足取。”
伍子胥道：“臣是老了，但老馬識途。大王不納臣言，將後悔莫及。”
過數日，越王勾踐率領群臣親至吳都，來見吳王夫差，道：“賤臣勾踐聽大夫諸稽郢歸越言說，大王英武神勇，智謀過人，反常規以鳴金為進軍之號，殺得齊兵人仰馬翻，潰不成軍，實乃空前絕後之功，賤臣佩服得五體投地，特領群臣前來朝拜祝賀。”對吳庭諸臣皆有金帛財物饋賄。
伯嚭對夫差道：“大王親眼所見，此乃奔走吳庭之應也。”
夫差大喜，當下置美酒佳肴於文台之上，勾踐侍坐，諸大夫皆侍立於側。夫差道：“寡人聞說：‘君不忘有功之臣，父不沒有力之子。’今太宰為寡人治兵有功，戰齊而勝，寡人欲賞其為上卿；越王孝事寡人，始終不倦，寡人欲再增其國土，以酬其助兵伐齊之功，不知諸大夫之意如何？”
諸臣皆道：“大王能賞功酬勞，此乃霸王之事也。”
伍子胥伏地而泣道：“鳴呼哀哉！今忠臣掩口，讒夫在側，邪說諛辭，以曲為直，養亂畜奸，將滅吳國，廟社為墟，宮生荊棘，還妄言什麼霸王之事？
夫差正在飄飄然似已霸天下的興頭上，伍子胥卻潑來一盆冷水，大怒道：“老賊多詐，為吳妖孽，乃欲專權擅威，傾覆吳國。寡人以先王之故，不忍加誅，今汝退而自謀，不要再來見寡人了！“
伍子胥道：“老臣若不忠不信，不得為先王之臣。譬如夏之龍逢遇桀，商之比幹遇紂，其臣雖直諫見誅，然君亦隨之而滅。今老臣與大王永辭，不複見了，望大王能保固宗廟社稷！”遂趨出朝堂。
夫差怒猶未息，伯嚭道：“臣遣人探得，伍子胥使齊之時，以其子伍封托付於齊臣鮑氏，可見其有叛吳之心，大王不可不察！”
夫差道：“伍子胥果欺寡人！叛吳之臣，留之何益？”乃使人賜“屬鏤”之劍予伍子胥，道：“汝以此死。”
使者至伍子胥家，傳夫差之命，授以劍。伍子胥接劍在手，仰天而歎，忽又大笑，道：“嗟乎，磋乎！讒臣伯嚭為亂，大王反而誅我。我令汝父霸，汝未立之時，諸公子爭立，我為汝力爭於先王，幾不得立。汝既得立，欲分吳國一半予我，我不受。然而今汝聽信讒臣之言以殺長者！我今日死，明日越兵至，掘汝社稷矣。”乃謂家人道：“我死之後，必要在我墓上植以梓樹，使之可以為器；而挖我之眼，懸於吳都東門之上，以便我觀越兵而滅吳也。”言訖，乃以“屬鏤”之劍自刎咽侯而死。
使者取“屬鏤”之劍，還報夫差，敘說伍子胥臨終之囑。夫差大怒，親往伍子胥家視其屍，指責道：“伍子胥，汝一死之後，尚何知哉？”乃以劍自斷伍子胥之頸，使人置伍子胥之頭於盤門（南門）城樓之上；又取伍子胥之屍，裝入鴟夷（皮革製作的酒囊，鴟音“癡”）之內，使人以車載去，投拋於浙江之中，說道：“日月炙汝骨，魚鱉食汝肉，汝骨變成灰，汝還能看見何物！”
伍子胥之屍投入浙江中，浮於江水之上，隨流揚波，依潮來往，蕩激江岸，江岸為之崩塌。當地之民懼怕，乃私自撈取伍子胥之屍，埋葬於浙江北岸之吳山，後世由此又稱吳山為胥山。後人因敬伍子胥忠正，在吳山建立子胥廟，曆代享受香火不絕。有古風一篇言伍子胥，曰：
將軍自幼稱英武，磊落雄才越千古。
一旦蒙讒殺父兄，發誓借兵吞荊楚。
貫弓亡命欲何之？商丘新鄭空棲遲。
昭關鎖鑰愁無翼，鬢毛一夜成霜絲。
浣女沉溪漁丈死，簫聲吹入吳人耳。
魚腸作合定君臣，複為強兵進孫子。
五戰長驅據楚宮，楚王含淚逃匆匆。
掘墓鞭屍吐宿恨，精誠貫日生長虹。
英雄再振匡吳業，夫椒一戰勝強越。
釜中魚鱉宰夫手，縱虎歸山還自齧。
姑蘇台上西施笑，讒臣稱賀忠臣吊。
可憐兩世輔吳功，到頭翻把屬鏤報！
鴟夷激起錢塘潮，朝朝暮暮如呼號。
吳越興衰成往事，忠魂千古恨難消！
伍子胥享壽幾何？史書上沒有記載，但從其一生的活動中，可大致推算出其年齡。周敬王十四年（公元前506年），吳王闔閭九年，吳伐楚之時，專諸之子專毅已領兵為將，專毅最小當有十八歲。若專諸十八歲成家，十九歲生專毅，則此時專諸如活當有三十七歲。伍子胥長專諸兩歲，則此時伍子胥當有三十九歲。以此為基礎，向上向下推算，可知伍子胥的大概情況：
周靈王二十七年（公元前545年）楚康王十五年出生；
周景王二十二年（公元前523年），楚平王六年，逃出楚邑城父，時年二十二歲；