張秀山1911年生於陝西神木的一個農民家庭，1928年進入榆林中學學習，在校期間加入了共產黨，因領導學生運動遭到反動當局的通緝。後輾轉逃脫，1930年黨組織派他打入國民黨部隊，搞“兵運”工作。1931年在平涼遇到了劉誌丹，就和劉誌丹一同打入陳國璋部。當時，劉誌丹就多次告訴張秀山，在做“兵運”工作時，千萬別做“細腿子”。
所謂“細腿子”，就是舊軍隊對文職人員的稱呼。劉誌丹說這話的意思，就是告訴張秀山，到了部隊後，一定要爭取帶兵，不要做個文職人員，哪怕是當個排長、連長都行，手中一定得有兵權。當時，劉誌丹就給張秀山講了自己以前的教訓。劉誌丹說，當年在大革命時期，他在參加北伐戰爭的時候是完全有資格可以帶兵的，可是黨內那些“右傾機會主義”的領導，就是不允許他帶兵，隻是讓他做了一個政治教官。所以後來到了“武漢事變”一發生，汪精衛政府叛變革命的時候，就把他們這些文職人員都趕走了。劉誌丹說，如果當時他帶了兵，手中有幾十條槍杆的話，就完全可以拉出一部分人來成立自己的遊擊隊。劉誌丹的這些話，其實就是一種經驗的總結，說明他已經體會到了，為什麼毛澤東同誌一再強調“槍杆子裏麵出政權”，也就是這個道理。
當年張秀山打入王子元部後，真的當上了一連連長，經過苦心經營，很快就在這支部隊裏發展了一批人。後來謝子長也被黨組織派到了王子元部，領導兵運工作，並且成立了黨支部，準備舉行兵變。
可是黨支部對什麼時候舉行兵變卻意見不一致，有的人覺得軍閥力量太強了，擔心兵變不會成功。就在猶豫不決的時候，王子元聽到了風聲先動手了。他先是把一個是中共黨員的副營長張東郊給抓起來了，然後又繳了下麵一個教導營的全部武器。
這時，張秀山馬上跑去找謝子長商量對策，並決定當晚就發動兵變，否則到時候一個兵都帶不出來。王子元已經掌握了共產黨人要發動兵變的確切消息，派了一支騎兵部隊趕來鎮壓。經過一番激戰，大部分同誌都犧牲了，也有許多人被捕了。當時張秀山也被捕了，他被銬著兩隻手，牽在馬後給拖著跑，腳上的鞋也跑掉了，腳板底兒全都是血。就這樣一連被拉著跑了兩天，最後被拉回了靖遠，麵臨著被殺頭的危險。
這時候，當地黨組織正在積極營救那些被捕的同誌。劉誌丹就利用一些還沒有暴露身份的黨員，在王子元的隊伍裏散布言論，說張秀山是王子元的救命恩人，當年曾經救過王子元的命，現在王子元卻要殺害張秀山。王子元連他的救命恩人都要殺，這樣的人就太不講義氣了，以後還有誰去給你王子元賣命呢？王子元有一個“軟肋”，就是最怕別人說他不講義氣，擔心以後再也沒有人跟他幹了，於是一聽到這個消息後，馬上就把張秀山給悄悄地放了。
劉誌丹、謝子長和張秀山等人雖然多次打入各種軍閥部隊，千方百計地進行兵運工作，但是這種“借水養魚”的方式，最後都一次又一次地以失敗而告終。還有後來同樣成為劉誌丹親密戰友的習仲勳，也是搞兵運出身的。他比劉誌丹要小十歲，所以當他還是一個半大孩子的時候，就開始在陝甘各地搞起了兵運工作。
習仲勳是陝西富平縣淡村鎮人，1913年出生，13歲就在家鄉立城中學加入了共青團。大革命失敗後，在三原師範求學的習仲勳也因從事革命活動遭到逮捕，兩個月後轉入西安軍事裁判所。當時西安的最高軍政長官宋哲元看到這些被捕的學生都是稚氣未脫的孩子，立即決定將這些學生交保釋放。