一九四三年春天，杜任之有個重要講話，就是這個講話，給他帶來了災難。
二戰區裏，經常辦些訓練班，克難坡辦，下麵各區也辦。孝義區辦訓練班的地方，多在兌九峪鎮上的清虛宮。這年四月，辦的一個訓練班叫“戰地幹部訓練團”。辦訓練班，本地區的最高長官當然要去講話。
杜任之事先安排我們準備了個講話稿，題為《目前孝義地區的糧食問題》。杜這個人，水平高，口才好，講話稿隻是個樣子，全憑他自由發揮。我也去了，他講得確實好，好多都是講話稿上沒有的。他說：“老百姓餓肚子沒糧吃，軍隊有存糧吃不了。有些軍官高價倒賣糧食，還硬逼著征糧，老百姓實在是負擔不起了。這明明是要他們的命麼！孝義地麵上，駐紮了這麼多的軍隊，不去打日本人，這就要坐吃山空！”
那天，杜任之很激動，當時正鬧春荒，他說，你們看看，孝義區的老百姓吃什麼，菜窩窩頭！還說，孝義區駐軍有多少，全靠防區裏的老百姓養活，還有政府人員，吃的用的，全是老百姓供應。當時，按閻錫山的指令，轄區內同時搞經濟作戰，有些像現在的反貪汙反腐敗的意思，成立了經濟裁判法庭，還真的逮捕了一些有劣跡的官員。杜的義憤，就是針對這些事情說的。這次講話，影響很大，人們都知道杜任之是真正抗日的，不像閻錫山過去派下來的幹部那樣，說的是一套，做的是一套。
他的講話稿，原本就是我起草的，講話時，我又做了記錄，過後根據記錄做了修訂，幹訓團在他們編的油印小報上發表了。薄右丞當時是戰區視察處負責人，見到這張小報，拿給閻錫山看了，說杜任之有“政變嫌疑”。閻看後覺得問題嚴重，一是鼓動老百姓對閻政權的不滿，二是泄露了閻軍在孝義區的軍事實力，這樣的言論，是不可饒恕的。當地駐軍的一些軍官，也給閻打來報告，誣告杜任之征糧不力、挑撥軍民關係、瓦解軍心等等。
閻過去對杜，一麵是欣賞其才幹，一麵也懷疑其來曆，至此就更加懷疑了。閻是個疑忌心很重的人，不信任的人絕不能留在重要位置上。怎麼辦呢？對付杜任之這樣的地方大員，自然不能掉以輕心。慎重考慮之後，一九四三年四月二十二日，閻給北區總司令楚溪春發去密電，同時給杜也發來一電，讓他回克難坡彙報工作。杜不知底裏，作了簡單的安排，第二天一早動身前往克難坡。楚溪春和楊自秀親自送行，楊是孝義區經濟裁判法庭的主任，也是地方大員。這三個人，可說是當時孝義區的三巨頭，杜要回克難坡述職，兩人送行是情理中事。
這天杜任之可說是輕車簡從，帶著一個警衛員，警衛員牽著一頭騾子，杜的坐騎。警衛員還挎著盒子炮。出了城，走了約一裏地，楚溪春拿出閻的電報讓杜看，電報上寫的是：“杜任之講話有叛變嫌疑，即派憲兵押解回部。”這是閻錫山的手諭，沒人敢違抗。閻錫山這個人，人家說他是土皇帝，一點也不假，他給下邊的命令，一律稱之為手諭。從前皇帝下的條子，才叫手諭。我初到克難坡，聽說閻長官的手諭如何如何，也是挺新奇的，都這個時代了，怎麼還給長官批的條子叫手諭呢？真是奇怪。後來才發現，在二戰區，人們都習以為常，不覺得是個事兒。
看了閻的手諭，杜任之不好再說什麼，隻有聽從。不知什麼時候，原先跟在後麵的兩個憲兵走了過來，上前給杜上了綁，押到路旁停靠的一輛大車上。臨別之際，楚溪春還跟杜任之說了些寬慰的話。
這些我都是聽楊自秀說的。
送走杜任之，按閻錫山的手諭，楚溪春接任了孝義區的戰工會主任，還是他的北區總司令，這個主任算兼職。這也是閻的安排，密電上說了的。
戰工會的秘書長是黃耿夫，楚溪春當了主任後，沒有動他，還是秘書長。陝西人，思想比較進步，據說是共產黨的老黨員，跟劉瀾濤在一起工作過。抗戰初期，犧盟會活動時期，是一個縣的犧盟會特派員，相當於抗日縣長。都在杜任之手下工作過，跟我的關係也還好。杜來孝義後，政治研究院的主任秘書張獻廷也跟了過來。黃、張、我三個人，算是與杜任之最親近的。杜被捕後，我們三個人知道杜有個書箱，裏麵說不定有違禁的書刊，本來想寄放在哪兒，說不定杜將來有用處。杜還有個秘書叫楊汝橋，我們想把這個書箱放在他那兒，或是由他找個地方先藏起來，楊不敢，我們隻好燒掉。晚上夜深人靜之後燒一些，燒了兩三天才燒完。楊不敢收藏，也能理解，誰也說不準往後還會出什麼事。
過了幾天，閻錫山給戰工會來電報，問杜的講話，“動機何在，影響個什麼？”楚溪春批示讓黃耿夫代擬答辭。黃擬的答辭是：“動機是老百姓沒有吃的。逮捕前沒有影響，逮捕後才有影響。”楚溪春看了沒說什麼，就按這個稿子發到克難坡。