1930年，成為中共秘密黨員的張克俠重新回到西北軍，在宋哲元任軍長的國民黨軍第二十九軍擔任第三十八師（師長張自忠）參謀長。在中原大戰中，他和宋哲元等人積極參與反對蔣介石的戰爭。
二十九軍軍長宋哲元是個傳奇人物，他於1885年10月出身於山東省樂陵縣城西北城關鎮趙洪都村一個書香門第。宋哲元幼年家貧，父親宋湘及外出謀職，他隨舅父讀書，學習刻苦。1898年宋湘及到北京教私塾，宋哲元隨之到京，並開始習武練拳。後因八國聯軍攻陷北京，宋哲元父子無奈之下回樂陵原籍。1901年，宋哲元因生活所迫在家鄉教私塾，此間體恤貧苦學生，受到鄉親稱譽。
1907年宋哲元從北洋陸軍隨營武備學堂畢業後，服役於馮玉祥部，曆任哨長、連長、營長、團長。1922年參加直奉戰爭，升任第二十五混成旅旅長，是西北軍五虎上將之一。1924年參加北京政變，10月馮部改編成國民軍，宋哲元任第一軍第一師（後改為第四師）師長。1926年宋哲元任國民軍北路總指揮、西路總司令，先後在南口、多倫等地指揮所部對直奉聯軍和晉軍作戰。同年9月17日五原誓師後，參加北伐戰爭，任國民軍聯軍北路軍總司令兼暫編第１師師長、國民革命軍第二集團軍第44方麵軍總指揮。1927年11月任陝西省政府主席。1930年蔣馮閻中原大戰中，任馮玉祥軍第4路軍總指揮。戰敗後馮玉祥餘部退居晉南地區。負責北方軍事善後的張學良將其整編，該部縮編為陸軍第三軍，下轄三個師，宋哲元任軍長，歸東北軍序列。
1930年10月，西北軍於中原大戰失敗後解體，其一小部分退入山西南部，被改編為第29軍，由宋哲元任軍長。何基灃任第二十九軍第37師109旅副旅長，他這個旅的旅長就是後來“七?七”事變為國捐軀的趙登禹將軍。
中原大戰結束後，受張自軍將軍的委托，張克俠到各地調查中原大戰後各地形勢的變化情況。他借機從南京到了上海，通過董健吾找到了黨組織，彙報了中原大戰經過以及西北軍情況。中央特科情報科的科長陳賡，還專門到旅社與張克俠進行了交談。
1931年9月，“九?一八”事變後，南京陸軍大學招考，張克俠被第二十九軍保送考入陸軍大學。在陸軍大學學習的三年間，他一直與黨組織保持聯係，張振亞經常找他搜集軍事情報。
轉眼到了1933年。從這年開始，張克俠與何基灃一起投身抗戰之中。
“九?一八”事變後，日本帝國主義加緊向華北侵略。在蔣介石不抵抗政策的縱容下，日本帝國主義繼侵占我國東北三省後，又大舉進犯熱河。1933年1月3日山海關陷落；3月3日，日軍進占熱河省會承德；隨後繼續南下，進逼長城一線。
危急之際，宋哲元的二十九軍奉命負責喜峰口一帶的防務。1933年3月8日，何基灃率所部趕到喜峰口，麵對強敵壓境，何基灃奉宋哲元之命率兩個騎兵營為先頭部隊奔赴前線，隨即接防喜峰口。3月9日下午，原守軍萬福麟部潰敗，日軍已控製喜峰口。在這危急時刻，何基灃率部及時趕到，立即投入戰鬥。何基灃為激勵官兵士氣，在陣前振臂高呼：“國家多難，民族多難。吾輩是受人民養育之軍人，當以死報國，笑傲沙場，何懼馬革裹屍？戰死者光榮，偷生者恥辱！”隨後，他身先士卒，親自率領大刀隊直撲已占據有利地形的日軍，與敵人展開浴血奮戰。
當天夜間，何基灃命所部由喜峰口兩側出擊，奪取高地，終於壓住了敵人的攻勢。午夜，何基灃在電話裏向宋哲元軍長報告了喜峰口戰況。宋哲元命令何基灃：“你一定要守住喜峰口！我已命趙登禹、王治邦、佟澤光三個旅趕赴增援。”次日早晨，趙登禹等率援軍趕到。敵我雙方竟日激戰，幾處高地，得而複失，失而複得，殺聲震天。
3月11日，二十九軍將士再度以手榴彈、大刀衝殺打退敵人的數次進攻。在戰鬥中何基灃看到敵人炮火十分猛烈，我方武器裝備差，如此拚殺下去，對我方不利。何基灃就和趙登禹旅長製定了運用二十九軍長於近戰、夜戰的特點，出其不意，迂回襲擊敵人的作戰方案。經宋哲元軍長批準後，兵分兩路，深夜偷襲敵人。當天深夜，外麵白雪皚皚。中國官兵手持大刀雪夜突襲，趁日軍熟睡之機，突入其營地猛砍猛殺侵略者，並將日軍的火炮和輜重、糧秣燒盡。
喜峰口大捷，二十九軍將士以大刀片與武器精良的日軍肉搏，給日本侵略者以沉重打擊，殲敵達6000人左右，斃敵少佐以上軍官53人。這是自“九?一八”事變以來中國軍隊抗擊日軍的首次勝利，極大地鼓舞了中國軍民的抗戰信心。
喜峰口一戰，使宋哲元、何基灃由此一戰成名。不久，何基灃因抗日禦敵有功，晉升為一一O旅旅長。
在抗日殺敵、保家衛國這一點上，張克俠與何基灃是同心的。
1933年5月，馮玉祥與中國共產黨合作，在北方組織察哈爾抗日同盟軍。得知這一消息的張克俠決心利用暑期投身到抗日同盟軍以報效國家。偏偏就在這時，蔣介石也在廬山辦了一個包括陸軍大學在內的各軍事學校學員參加的培訓班。張克俠麵臨選擇，是到張家口還是上廬山？他選擇了北上。從南京到張家口後，他被任命為高級參謀。當時有很多各地的學生到張家口參加抗日隊伍，為此馮玉祥決定開辦一所幹部學校，以培養軍隊的幹部。馮玉祥自己當名譽校長，張克俠被任命為校長。
馮玉祥領導察哈爾抗日同盟軍取得了幾次戰鬥的勝利，曾一度收複多倫、沽源，在全國產生了積極的影響，鼓舞了抗日士氣。然而，蔣介石與日本侵略者夾攻同盟軍，8月彈盡糧絕的同盟軍失敗。
當時張克俠統領的幹部學校隻有三四百人，開始一支槍也沒有。沒有武器怎麼打仗？很多人主張散夥算了！但張克俠卻沒有放棄，他想拉這支隊伍到張北和吉鴻昌等人彙合堅持鬥爭。為了爭取馮玉祥的支持，他主動出擊，向馮玉祥說了自己的打算。馮玉祥給了張克俠本人一支手槍，又從他的衛隊中抽了幾十把大刀和兩挺手提機關槍給他。此前曾聽說過何基灃等人用大刀在喜峰口殺日本佬的事，張克俠想有這些大刀也可以了，何況還有兩挺手提機關槍呢！
張克俠帶領幹部學校的人馬追趕大隊，有一天走到一個叫“公會”的地方附近，突然被這裏的保安團包圍。為首的幾個匪兵還揚言，要將張克俠就地斬首。張克俠不想就這樣死得不明不白，他強烈要求見他們的頭兒。這樣，他被押到了他們的司令部。見到他們的頭兒，一看原來是在同盟軍當過一陣子師長的曹漢相。通過了解才知道，原來前一天同盟軍二師從這裏經過，看見大群的馬在吃草，就把保安團的一批馬牽走了。所以看到同盟軍的人，他們就有仇恨。
張克俠亮明了自己的身份，對他們說：“抗日的隊伍都是友軍，搶你們的馬是不對的，你們放心，我讓他們把馬全送回來。”說完他給二師師長支應遴寫了封信，派人立即送去。支應遴師長知道張克俠是馮玉祥的連襟，接到信後趕緊查清了情況，設法把馬全部送回來了。這樣保安團才放張克俠，否則準備殺了他。
從公會保安團出來後，張克俠趕緊返回部隊。9月，抗日同盟軍的最後一支力量吉鴻昌察綏抗日同盟軍在灤河以東遭日軍與國民黨雙重夾擊、包圍，彈盡糧絕後全軍覆滅。同盟軍全部解體，張克俠隻得返回陸軍大學。為了不被國民黨追究，他請宋哲元給陸軍大學發了一個假電報，編造了離開學校的理由，這樣才過關。