楊過自然知道他先虛後實，右拳才是實拳。此時即使就是郭靖親到，也不一定能夠傷得了他，更何況武修文這個半大小子。他眼瞧著拳頭擊到，故意用手肘捧頭，武修文一拳擊在了楊過的手肘上，還痛得直搓手。楊過裝作不會武功，躺在地上，發拳直上直下的亂舞亂打，全然不成章法。郭芙見楊過被武修文連揍了好幾下，就要上去幫忙，武敦儒一把拉住郭芙叫道，“師妹，剛才已經說好了，誰也不許幫忙！”
武修文見楊過咬牙切齒的拚命，心下倒是怯了，又有郭芙要上來幫忙，不願再鬥，叫道，“你已經輸了，我饒了你，剛才痛打落水狗，真是痛快！”
楊過本來還想饒過他，卻不料他居然罵自己是狗，“誰要你饒？”他爬了起來，衝上去劈麵猛擊。武修文伸左臂格開，右手抓住楊過胸口衣襟向前急拉。楊過故作站立不穩，向前摔倒。武修文見武敦儒攔著郭芙，立刻又大膽起來，一把撲上去，將楊過的臉孔向沙地上直按下去，叫道，“你服不服輸，不服的話，我就悶死你個狗雜種，沒人要的狗雜種！”
楊過見這小子居然如此狠毒，顯然是妒忌他跟郭芙在一起。剛才屢屢忍讓，居然讓他得寸進尺，對他肆意淩辱。此時哪咽得下這口氣，一時也忘了輕重。他猛躍而起，頓時把武修文直掀而起，雙拳更是猛推出去，這下正中武修文的小腹，武修文“啊”的大叫一聲，仰跌在地，好在是沙地，否則定會摔成重傷。但就這一下，也已經夠他受的，武修文吭了一聲，頓時暈了過去。
武敦儒搶將過去，隻見武修文一動不動地躺著，雙目翻白，以為被楊過一掌打死，大駭道，“師父，師父，修文被楊過打死了！”連叫帶哭，奔回去稟報郭靖。郭芙見楊過怔怔地坐在地上，也一陣害怕，跟著武敦儒也急走了過去。楊過也怕剛才一掌失手，把武修文打死，試了一下他的鼻息之後，才知道他沒事，於是坐在那兒，靜靜地等候郭黃夫婦到來。剛才他就已經到定了主意，離開桃花島，到終南山去見小龍女，他可不想小龍女出任何意外。
也不知過了多久，隻見郭靖、黃蓉飛步奔來。郭靖抱起武修文，在他胸腹間推拿起來。黃蓉走到楊過身邊問道，“你怎麼會武功？”楊過搖了搖頭，又看了看雙手！黃蓉一時憶起那次楊過失蹤的事來，“歐陽鋒呢？他在哪兒？快說！”楊過聽了，始終一動不動。黃蓉見楊過的樣子，更是以為自己所料不錯，臉上鐵青，一片寒色。
楊過本來也可以反駁，當時郭芙與武敦儒都在場，不過此時他要用苦肉計離開桃花島，隻能任由黃蓉猜測。黃蓉見楊過的樣子，越發不相信郭芙的話，還以為郭芙又在幫著楊過騙他，對楊過的惡感沒來由加了三分。