秋穀一連告戒了幾次，他們大家那裏肯聽！有一天不知怎樣的，見了祁祖雲祁侍郎的家人在門外強買對象，眾人不服起來，一擁而上齊聲喝阻。那家人是平日放肆慣了，看得這班人那裏在他心上？三言兩語爭鬧起來。眾人心中大怒，先把那家人打了一頓，又堵著祁侍郎的門口罵了一場。祁侍郎見人多了，不敢出頭，憑著眾人罵了一場去了。祁侍郎心中懷恨，便叫個門下的走狗叫做康長垣的出去打聽了一回，方才知道這幾個人都是章秋穀的徒弟。
祁侍郎聽得提到章秋穀的名字，便覺得怒從心起，惡向膽生，口中說道：“這個小畜生前一次把我撞了一交，我還沒有去尋著他，他倒指使了這班混帳東西來上門罵人。我若不給他一個手段叫他知道我的利害，我這個‘祁’字也不用姓了！”
說著，便會齊了那些走狗，密密的商議。一個走狗便走上前來，附耳說道：“他聚眾教拳，本來有幹例禁的。我們如今隻說他是會匪的頭目，聚了許多黨羽教演拳棒。
隻要這個風聲一傳出去，隻怕他吃不了要兜著走呢！“祁侍郎聽了十分歡喜，連連的點頭道好。又鬼鬼祟祟的商量了一回，方才大家散了。
果然不多幾日，常熟城內傳出幾句謠言來，隻說章秋穀是會匪的頭目。更有幾個無恥的劣紳，大家都附和起來。章秋穀的一班親戚、朋友聽了這些說話，大家都十分不忿，一個個都對著章秋穀說，叫他設法分辯。章秋穀卻付之一笑，不去理會，隻說：“一個人的毀譽是說不定的。他們這般傳說，隻顧憑他們去傳說就是了。我隻要問心無愧，何必要去分辯？況且這般齷齪小人，即如華廷棟和祁伯田等這班寶貝，素來被我譏誚奚落慣的，恨我好似切骨仇人的一般。就是向他分辯，他還隻道我自己心虛，所以這般著急。還是憑他去怎樣興謠造諑，將來自有明白的日子。”
他夫人和陳文仙聽了，也隻得由他。
自此之後，章秋穀索性閉門守製，不與外事，連幾個知己些的朋友都不相往來。
漸漸的，這個信息一傳十、十傳百的大家都傳說起來。再加上華廷棟和祁伯田這幾個寶貝竭力的吹風縱火，說得活龍活現的十分相像。除了幾個章秋穀的親戚朋友不肯相信，其餘的人大家都不由不信起來。慢慢的這個信息竟傳到商約大臣陳寅孫陳宮保耳朵裏頭，心上大為詫異，便寫了一封信給章秋穀，叫他到上海去。
章秋穀也不知什麼事情，隻得立刻坐了小火輪徑到上海來，見了這位陳宮保。
陳宮保第一句就問起這件事情來，隻說：“我聽得人說你人了會黨，究竟有這樣的事情麼？”秋穀微微一笑道：“宮保的明見，看晚生可像個會黨麼？這些謠傳的話兒也有一個緣起，卻是晚生自己不好。晚生平日之間少年盛氣，未免有許多得罪人的地方。那幾個捏造謠言的人，都是和晚生向有仇恨的。這樣的謠傳非但無從辯起，並且也不屑去和他分辯。宮保請想：晚生縱然胡塗，卻也幼讀詩書，長知道義，怎麼會平空人起會黨來？況且人了會黨，於晚生又有什麼好處？這樣有損無益的事情，那一個肯幹？隻求宮保細細的想一想，就明白這些說話一定是謠傳了。”
陳宮保聽了；想了一想，覺得秋穀的話不錯，便也點一點頭，嘿然不語。停了一會方才開口說道：“據你這般說起來，這件事兒原是你自己招出來的，和別人不相幹。自今以後，你那瞧不起人的性格，還該收斂些兒。古來的聖人處事，也都是謙和為貴，何況我們這般人，究竟不是聖人呢。一定要嬉笑怒罵的，到處鋒芒太露，傲態向人，在世路上結了無數的冤家，究竟在自己身上沒有一些兒的好處，這又何苦？”秋穀聽了陳宮保勸他的一番說話甚是關切，心上狠覺得有些感動，便也說道：“晚生自恨從小兒多讀了幾卷書，以致到了這個時候眼高不低，腸直不曲，委實和那班齷齪無恥的小人拉攏不來，隻得憑著他們去怎樣的了。”陳宮保聽了，也不免嗟歎了一番，又著實的勸了幾句。章秋穀暗想此公雖然有些富貴習氣，卻倒具著這樣的熱心。心上想著，口中少不得連聲答應，退了出來。原來這位商約大臣陳宮保和章秋穀的老太爺是總角之交，陳宮保的夫人又是章秋穀的親戚，所以和章秋穀倒狠關切。