江寧（今南京）乃江南名城，軍事重鎮。東吳、東晉、“南朝”宋、齊、梁、陳先後在此建都，故有“六朝古都”的美譽。潘家在江寧乃首屈一指的大戶。潘員外曾為朝廷三品大員，官至吏部侍郎，因為人剛正，看不慣官場黑暗而辭官，返鄉做生意，因為頭腦精明，經營有方，產業逐年擴大，終成江寧首富。潘員外現年五十六，膝下無子，隻有一女，芳名美珍，視為掌上名珠。
潘姑娘不單容貌出眾，而且精通文史，工詩詞，擅歌舞，才名動於江寧。像潘姑娘這樣家世顯赫，才貌雙全的姑娘自然不乏追求者。自從潘姑娘十三歲以來，潘府上門求親者每日不絕。潘姑娘有個條件，凡能即興作詩、填詞，並能對出她出的楹聯者，不論容貌，她都會委身下嫁。不知是否潘姑娘出的題太難，潘府數以百計的求親者竟無一人能在詩、詞、聯三方麵同時令潘姑娘滿意，以致潘姑娘芳齡二十，虛歲二十一，仍然待字閨中。
這可急煞了潘老爺和夫人。老夫妻一合計，想出了拋繡球的主意，至於女兒能否“球”得幸福，那就要看老天爺的意思了，總比當老處女強（注：宋朝法定結婚年齡為女子十三歲，男子十四歲，後來在王安石的建議下改為女子十四歲，男子十五歲）。
於是潘員外在鬧市中心搭起了高達一丈的彩樓，擇吉日讓女兒拋繡球。潘姑娘的才貌遠近聞名，江寧男兒早早就來到彩樓下，搶占好位置，希望豔福從天而降。不隻江寧的男兒來了，鄰近的揚州、南徐（今鎮江）、無錫的男兒也來了不少。不隻少年男子來了，中年、老年男子來的也不在少數，為的是一睹潘府小姐的芳容。
鬧市中心人山人海，人頭攢動，將彩樓圍得水泄不通。人人都想靠近彩樓，好讓潘姑娘看得更清楚，增加入選的機會。大家都抱同一個心思，一個勁兒往前擠，都快擠到台柱上了。若把彩樓擠塌了，未免不吉利。幸好潘員外早有準備，憑他與江寧知府的交情，請來一隊捕快維持秩序。當彩樓危急之時百餘名捕快手持兵器，排眾而出，將想碰運氣和看熱鬧的人喝退，硬是在擁擠不堪的彩樓前逼出五尺空間。
樓下英俊少年比比皆是，潘姑娘委決不下，抱著繡球遲遲不肯拋下，引來觀眾一浪接一浪的鼓噪，“潘姑娘，快拋啊。”“潘小姐，拋給我！”
場上的喧嘩聲揚武在兩裏之外就聽到了，不知江寧城出了什麼事，在好奇心驅使下，尋聲奔向彩樓，老遠就被人山隔阻，擠不到前麵，就仗著目力奇佳將樓上的潘姑娘瞧得一清二楚。
揚武心中暗訝：“江寧竟有如此美女！”隻覺她清麗脫俗，端莊典雅，自具名門淑女、大家閨秀的風範。
揚武功聚雙目，潘姑娘頓時如在眼前，連睫毛都清晰可見，更覺她冰肌玉骨，麵若春花，柳葉眉下一雙丹鳳眼水汪汪的，萬種風情含而不露。眼睛是心靈的窗口，心靈美眼睛才會美，她的眼睛如此漂亮，必有一個美好的內心世界。以眼睛推斷人的好壞，雖然有失偏頗，但揚武喜歡這樣。
揚武對潘姑娘既生好感，就難免要為她設想：長得好看未必就有真才實學，說不定是個繡花枕頭。就算有才有貌，但是知人知麵不知心，男方是為才、為色，還是為財而來？隻有男方自己清楚。雙方並無感情基礎，男方將來會不會變心？隻有賭一把。這個姑娘容貌、氣質俱佳，行事怎麼如此草率？
揚武暗暗替潘姑娘擔憂，卻幫不上忙，唯有心中苦笑。正在胡思亂想時，忽見潘姑娘美目一亮，放出異彩，含羞一笑，拋出了繡球！
揚武目光跟著繡球移動，見繡球投向一個身穿粗布衣服的書生模樣的青年。那青年姓顏名富才，本地人氏，其父為秀才，屢試不能中舉，在第十試落第時含恨自盡，拋下兩兒三女和家中賢妻。尚幸顏秀才遺有十畝田產，顏夫人與長子富才和長女辛勤耕作，尚能得一家人溫飽，次子、次女及幼女年齡尚小，還不能幫忙幹活。
顏富才家境貧寒，家中又有弟妹寡母，雖然長得一表人才卻沒有哪家姑娘看得上。顏富才隻是抱著試試看的心態來到繡球現場，萬萬沒料到潘才女會選中自己，彩球投來，竟不知所措。好心的人提醒顏富才“快接繡球”，顏富才才傻兮兮地張開雙臂。眼見繡球已進入顏富才的雙臂環抱圈，空中忽然伸出一條長鞭，“啪”的一聲輕響，鞭鞘將繡球卷走。
觀眾一齊起哄，紛紛指責場中出現的不道德和違規行為。顏富才扭頭一望，見持鞭的是一個身穿紅衫，長相俊俏，油頭粉麵，一看就是有錢人家的浮浪子弟的青年男子，年紀與自己相仿。他右手持鞭，左手托著繡球，麵露笑容。不能說他的笑容不好看，但顏富才卻感到厭惡，氣往上衝，斥責道：“你為什麼搶走我的繡球？”
紅衫青年瞟了顏富才一眼，露出不屑的神情，反問道：“繡球沒投到你身上，何時成了你的？”
江寧府總捕頭洛百溪與潘姑娘交換意見後，對紅衫青年喝道：“大膽狂徒，竟敢在此搗亂！來人哪，給我拿下。”
觀眾自覺退開。眾捕快一擁而上，將紅衫青年圍住。百姓都退至圈外，但有三名腰掛長劍，相貌凶惡的勁裝中年大漢站在紅衫青年身旁。原來紅衫青年還有同夥。
一名捕快小頭目問道：“不相幹的人退下了，你們不退下，那就是他的同夥了？”“是又怎樣？”一個勁裝大漢凶狠地反問。眾捕快大怒，紛紛拔出刀、劍等兵器，上前就欲拿人。紅衫青年與同行的三名中年人自恃武功，以空手迎敵。
眾捕快對付小賊還可以逞逞威風，但在這四人手中卻走不了一招，尚未近身就被這四人摔了出去。這還是紅衫青年想取悅潘姑娘，隻是賣弄功夫，無意傷人，否則眾捕快這一跌恐怕再也不能站起來。