經過偵訊，1944年5月30日，黃梅縣縣長兼檢察官作出了不起訴的處分。王香枝一方並沒有就此作罷，在同年6月，湖北黃梅縣駐府參事於樹棠等人以及王香枝的母親王於氏以幾乎內容大致相同的呈文向司法行政部部長謝冠生控訴徐輔漢的惡行：
為審判官徐輔漢貪聲四播，穢行孔彰，伏懇轉飭撤職查辦，以肅官方事。竊屬縣自民國二十七年倭寇攻陷後，前審判官離職，徐輔漢係以書記官代理司法，當時訴訟案件甚少，徐初亦無聲無臭。詎近年來乘敵匪交逼，縣府播遷不常，時局傲擾之際，狡焉思逞，凡遇訴訟案件賄賂公行，蕩產傾家指不勝屈。尤可怪者引用前經縣府驅逐之地痞張讚庭為寫生，曾充偽縣政府檢驗員之聞光前為檢驗員（去歲已經本縣縣黨部向高等法院檢舉有案），爪牙密布，苞苴多方，聲名狼藉，輿論嘩然。樹棠等以案關司法，應曲全維護其獨立之精神，未便公然幹預。詎最近更有駭人德聞者，查有訴訟當事人王香枝（女性，該夫現住軍官學校未歸）在庭訊日之先時，被徐審判官引入臥室強拉上床肆行誘奸，比由王香枝一麵掙紮一麵大聲喊叫，並將徐審判官所戴眼鏡打碎，臉皮抓破，門外哄動，觀者如堵。同時王香枝於人叢中衝往縣府與縣黨部兩處申訴在案。越一日，王氏戶族就縣府所在地席請縣屬各機關法團暨地方士紳等聲明前情，當經王香枝當場哭訴其猥褻行為，曆曆如繪，似此不但蹂躪司法，實屬玷辱官常，樹棠等有代申民隱之責，不敢再安緘默。理合據實臚陳鈞長鑒核，懇飭令湖北高等法院撤職查辦以敬官邪而維法，迫切待命恭候。
鈞裁謹上
司法行政部部長謝。
王香枝一方控訴的結果便是在司法行政部的壓力下，1944年6月24日、7月1日、7月14日、9月30日湖北省高等法院連續四次訓令巡回審判第三區推事陳世儀將“黃梅縣參事於樹棠等公民桂翕九等及民婦王於氏等所訴該縣前審判官徐輔漢貪汙瀆職誘奸婦女等情查明具報以憑核辦”。
當司法官吏被控訴後，他們並沒有坐以待斃，相反，在自認受辱的情況下也采取了相對應的反訴行動，黃梅縣審判官徐輔漢即如此。
在王香枝向縣政府以及縣黨部告訴並席請黃梅縣屬各機關團體以及地方士紳尋求支持的同時，徐輔漢也開始了相應的應對以及反訴行動。
首先，是辯解。在縣政府方麵，1944年4月7日，徐輔漢致函縣長兼檢察官田江昌稱“吳王香枝以不正當之語言以為要挾地步”，要求縣長秉公徹查，為其昭雪心跡，表現光明。徐輔漢強調此案“關係輔漢個人之名譽及進退甚小，關係司法前途甚巨”。除此以外，在縣黨部過問此事後，徐輔漢複函否認此事。
其次，針對王香枝的刑事告訴，徐輔漢提出了相應的反訴。徐輔漢同時向縣長兼檢察官田江昌反訴王香枝在公務員依法執行職務時當場侮辱公務員。
再次，在田江昌受理訴訟後，徐輔漢電呈湖北省高等法院首席檢察官毛家騏尋求支持，在電文中徐輔漢強調“吳王香枝闖入該處辦公處所肆行泣鬧，對承辦人員橫加侮辱”。1944年5月26日毛家騏訓令田江昌“嚴予偵辦，以維司法”。