借著中央複信之機，張國燾開始對紅四軍“整肅”。
張國燾對紅四軍的“整肅”是從抓“AB團”開始的。“AB”二字，是英文“反布爾什維克”一詞的縮寫。
就在曾中生、徐向前率紅四軍南下作戰的時候，政治保衛局在後方醫院莫名其妙地破獲了一個“AB團”組織，說這些人是四軍中的反革龠，耍舉行兵變，拖走紅軍去投降國民黨。恰在這時，蔣介石的特務頭子曾擴情派了個姓鍾的特務來給十二師師長許繼慎下書，施反間計母這封信是以蔣介石的名義寫的，內有“匍匐歸來之子，父母唯有垂泣加憐”之語。許繼慎立即將特務逮捕，連人帶信一起交給軍部處理。曾中生、徐向前親自審問了特務，然後又轉送分局處理，並向分局寫信說明這是敵人搞的陰謀。
然而，早就想對紅四軍下手的張國燾卻抓住了把柄，開始了一場剪除異己的“大肅反”。
曾中生自然跑不掉。中央分局決定撤銷曾中生的軍政委職務，由陳昌浩接任。
陳昌浩奉張國燾改造紅四軍之命。立即由分局所在地新集趕往紅四軍軍部，風塵未洗，就緊急召開軍領導會議，宣布了中央分局免去曾中生紅四軍政委，由他接任的命令。當晚，陳昌浩又下令將紅十師參謀主任何柏元、第二十八團團長潘皈佛、團副丁超等以反革命罪逮捕，十師政委李榮桂已在新集被抓。
與此同時，十一師師長周維炯、十二師師長許繼慎也被逮捕。
徐向前這樣回憶當時的情景：
……有天，部隊走到商城以西的餘家寨，我正站在路邊的山坡上看著隊伍行進，陳昌浩也在。隊伍裏抬著兩副擔架，上麵蒙著白布，我就問他：“誰負傷了？抬的什麼人？”他看了我一眼說：“沒有誰負傷，那是許繼慎、周維炯，反革命，逮捕了！”我大吃一驚。許繼慎、周維炯都是師長，也成了反革命啦？我說：“怎麼搞的，把師長抓起來，也不和我說一聲！”他知道我不滿意，但沒再說什麼。按照那時的規矩，“肅反”是單線領導，決定權在政治委員。捕人他有這個權利，相反，你要過問，便是擅職越權，不允許的。搬的是蘇聯那一套，有什麼辦法呀！
許繼慎是黃埔一期生，北伐戰爭時就是葉挺獨立團的營長、團參謀長，參加過汀泗橋、賀勝橋、武昌等重要戰鬥，戰功赫赫，一九三零年到鄂豫皖根據地後，任紅一軍軍長，為根據地的發展立下了汗馬功勞。張國燾來到鄂豫皖後，許繼慎經常講他是老右傾機會主義，雞鳴河會議，執言激烈，一直為張國燾所記恨，在他的整肅計劃中，許繼慎是僅次於曾中生的第二號人物。
周維炯有點個人主義，舊習氣比較多，但打仗勇敢，人也聰明，是員戰將。因為在雞鳴河會議上支持曾中生，也被張國燾視為異己。
紅四軍駐進白雀園後，張國燾便急匆匆由新集趕來，親自坐鎮指揮“肅反”。
像滾雪球一樣，許繼慎一案，牽扯的人越來越多。
張國燾一手拿著中央的肅反指示，一手抓著許繼慎等人的“罪證”，開始在紅四軍中樹立自己的形象。
他在暗示：他需要的是服從，絕對的服從。
許繼慎一案被確定為反革命案，南下被說成是帶上部隊去投靠蔣介石，而曾中生則是這一陰謀的“包庇者”。
一時間，白雀園黑煙濃濃，血腥嗆人。
十一月中旬，許繼慎在被嚴刑拷打後，張國燾派人將他秘密勒死在保衛局機關的一座平房裏。他的妻子王望春亦被殺害於英山城關。
白雀園將近三個月的肅反，肅掉了兩千五百名以上紅軍指戰員，百分之六七十的團以上幹部被逮捕殺害。
被害的鄂豫皖早期革命領導人和團以上幹部，可以拉一個長長的名單：徐朋人、戴克敏、曹學楷、陳定侯、肖方、周維炯、薑鏡堂、許繼慎、曹大駿、熊受喧、李榮桂……他們中的每一個人都是一部書。
從此，張國燾不再懷疑自己的權力。
曾中生幸免於難。他在受到了嚴厲的批判後，調離部隊進行“考察”，後來降為黃安獨立師師長。
一九三二年秋，紅四方麵軍未能粉碎敵人的第四次“圍剿”，被迫西越京漢線，轉移到外線作戰。
紅四方麵軍主力撤離鄂豫皖長途西進轉移，無疑是一個重大動作。張國燾卻以保密為由，事先既不在領導層中研究商討，進行中又不向指戰員解釋。他的這種家長式作風引起了廣大指戰員的極大不滿。同時，指戰員們都希望盡快結束這種無根據地的盲目流動。當部隊西行至城固縣小河口鎮停下來以後，各種意見都出來了。任紅四軍政委的餘篤三和四方麵軍總部的幹部王振華、朱光等私下醞釀著，要到中央告張國燾的狀。當時腿、臂都負了傷的曾中生也正為紅四方麵軍的前途而焦慮。一天，曠繼勳、餘篤三、張琴秋、劉杞、王振華、朱光等幾個人來到曾中生所在地方，向他說了向中央告狀的事情。曾中生說向中央反映情況固然好，可江西距此遙遙幾千裏，怎麼個去法？況且，即使到了中央，中央會不會聽，還是個未知數。他建議不如寫一份意見書，由他送張國燾。大家覺得這是個好辦法。於是，曾中生根據大家的意見，寫了份材料，交給了張國燾。同時，大家又推舉張琴秋去做陳昌浩的工作，爭取得到他的支持——他們是莫斯科中山大學的同學，觀點又相近。誰知張琴秋剛將大家的意見向陳昌浩說了以後，陳昌浩便報告了張國燾，因此當曾中生把意見書交給張國燾的時候，他並沒有感到意外。
張國燾微笑著從曾中生手中接過了那份意見書。
曾中生不會料到，他將為自己的光明磊落付出代價一不，也許他會預料到，因為他已經領教過他。
但曾中生還是做了。
張國燾見大家意見很大，雖然恨之入骨，但戰場屢屢失利，群情如幹柴烈火，隻好暫時把湧上心頭的恨火壓下來，而換上了一副笑麵孔。
十二月八日，張國燾便在小河口召開了師以上幹部會議。