事情的經過總是向進發展，猶如曆史的車輪滾滾向前一樣，要麼有好的結果，要麼就是壞消息。
吳老五在少林寺夥同東天霸、南金剛、西飛龍、北地虎四人作惡多端。父親吳金龍氣得眼冒青煙，連連搖頭埋怨自己說。
子不孝，父之過。罪過、罪過也！
最後，吳金龍又要求方丈依照寺規，把等五人一並逐出了寺門。正是因為吳老五以上種種行為，使得他的母親憂心忡忡，也因此落下了病根一直臥床不起。
被逐出少林寺的吳老五，與東天霸、南金剛、西飛龍和北地虎四人分手之後，回到了洛陽他舅舅的家中。沒有了戒律清規的約束，吳老五更是惡性大發，有恃無恐了。他把在少林寺學到的拳腳功夫，毫無保留地釋放在貧民百姓的身上。如有誰對他不尊、不敬，或是不聽他的使喚。不是被他罵得狗血噴頭，便是打得他鼻青臉腫。在一個月之中，沒有幾天是停止為非作歹的。所以，三天兩頭地有人跑到他爹那兒去告狀，吳金龍忍氣吞聲，隻得用銀兩打發。他的母親得知此事，又被氣得昏倒過去。也因此，病情越發加重了。
遊手好閑，無所事事的吳老五，他的狐朋狗友倒是不少。當時，不少城內的紈絝子弟和浪蕩公子們，得知吳老五在少林寺深造多年，功夫了得，便是不離不棄地追隨在他的左右。吳老五本就是一匹發瘋的牛，也是難以駕馭的野馬。在這些人的縱容之下，更是躍躍欲試，恣意妄為了。他成天裏糾集一些不三不四的人，目空一切，在洛陽城內橫行霸道。那時，洛陽城的周邊，丐幫盛行。吳老五自己那副惡形樣兒，卻看不過勁丐幫的胡來。他領著他的那幫人，整日裏與丐幫弟子們對著幹。
丐幫可是一個專為窮人出氣的團夥，有一定的組織紀律。而且，他們團結互助，做到一方有難，八方支援。吳老五憑著手下那些烏合之眾，想與丐幫一爭高下，當然是要吃虧的。比如有一天，吳老五領著他那一幫人，在一家餐舘裏劃拳駕馬，一個個喝得醉醺醺的。臨走時，死皮賴臉地不交錢。餐舘老板見他們蠻橫不講理，也就跟他們較起真，爭吵了起來。吳老五借酒不醒，正不知火往哪裏發，走上去便是一拳。這一拳打得老板的門牙都掉了，鮮血直流。餐舘裏的夥計們看不下去，便與他們大吵起來。這些夥計，力氣是有，可沒一個有功夫的。吳老五等人，沒幾下子便將他們一個個撂倒在地。此刻，外麵有個丐幫小領頭的，見吳老五在餐舘如此撒野，意欲好好教訓於他。於是，他吹了吹口哨，隻見十幾個丐幫弟子蜂擁而至。他們把他們給圍了起來，狠狠地揍了他們一頓。吳老五雖有渾身本領，也奈何不了丐幫弟子們的團結一心，隻得認慫，當場賠錢、賠禮、賠不是。
吳老五欺侮別人是欺侮慣了的，可從未丟過這樣的臉。他氣恨交加，一回到家中便大叫大鬧，發誓要與丐幫試比高下，爭回顏麵。這年，吳老五已經有二十六歲了。他的父母和他的舅舅見他也老大不小了，想給他娶房媳婦收收他的野性。吳老五便是不聽，他說。
找媳婦是我自己的事，我不著急。這件事，就不用爹娘和舅舅操心了，我自有辦法。