三十八軍地下黨組織的活動、建立和發展，是有它悠久的光榮曆史的。但它的發展和壯大，則是在西安事變和抗日民族統一戰線形成偉大曆史轉折的基礎上，經過1937年七七事變、對日抗戰，磧口整訓，實行新作風——禁煙、禁嫖、禁賭三大禁令和自我教育、自覺紀律、經濟公開、人事公開的四大口號各個階段逐漸形成的。
三十八軍原為楊虎城將軍所領導的十七路軍的一支。其前身是十七路軍的主力十七師。1930年孫蔚如任十七師師長，1931年夏駐陝西鳳翔縣時成立了隨營軍官訓練班，共產黨員呂劍人、孫作賓、胡振家即在該班工作，建立並發展了黨的組織。同年孫率十七師兩個旅入甘（趙壽山率五十一旅入漢中），共產黨員蒙鼎鈞（蒙定軍，以下均用此名）、崔廷儒、崔維俊、辛子才等同誌亦相繼打入該部進行工作。1932年孫蔚如任三十八軍軍長，率部進入漢中，同趙壽山所率的五十一旅會師，又辦起了三十八軍教導隊。在中共陝南特委領導下，在這個部隊中建立了黨的地下支部，在教導隊中，也建立和發展了組織。
這個時期黨的任務是“發展組織，掌握兵權，待機暴動，建立紅軍”。但當我紅四方麵軍進駐川北後，地下黨在楊虎城將軍主張抗日，不願與紅軍作戰的思想指導下，說服他和孫蔚如派軍部參謀、共產黨員武誌平為代表，與紅四方麵軍取得了聯係，同紅四方麵軍的代表張含輝、徐以新同誌達成了“互不侵犯”的默契，並在楊虎城的參議杜斌丞先生協助下，建立了有名的“秘密陝川紅色交通線”。支援了紅四方麵軍大量的武器彈藥及軍用物資、醫藥用品等。
1935年紅軍在長征中，中共中央發表了《抗日救國告全國同胞書》（即《八一宣言》），到達陝北後，發表了建立和擴大抗日民族統一戰線的決定，得到了張學良、楊虎城的熱烈擁護。中共中央先後派汪鋒、王世英、王炳南等同誌通過上層統戰人士，對楊虎城進行了大量工作，使楊虎城完全接受了中共停止內戰，一致抗日的共同原則，並達成了紅軍和十七路軍的“抗日友好互不侵犯協定”。為了保證這一協定的貫徹執行，楊將其主力三十八軍由漢中調到渭北富平縣、耀縣、淳化、三原一線，與紅軍保持了良好的聯係，並為紅軍輸送物資與人員的安全來往，提供了便利和掩護。
1936年六七月間，中央派葉劍英同誌為紅軍代表到達西安，協助張、楊訓練幹部，改造部隊。把原西安綏靖公署所辦的步兵訓練班改為軍官訓練大隊，楊親自兼任大隊長，以趙壽山為大隊副，並調共產黨員團長閻揆要、劉威誠等為隊長。三十八軍地下黨組織，執行了中央關於改變過去以武裝暴動冒險的盲動方針為團結改造這支部隊使其反蔣抗日的方針。這樣不僅使黨的地下組織有了較快的發展，而且團結了部隊內的進步官兵，形成了抗日民族統一戰線的核心力量。為西安事變準備了強大的可靠力量。
在西安事變的當天，即由趙壽山指揮孔從洲陝西警備第二旅，以迅雷不及掩耳的手段，消滅了蔣介石在西安的所有反動武裝，並在東北軍活捉蔣介石的同時，扣留了蔣介石派在陝西省的所有軍政大員。在此期間，由三十八軍軍長孫蔚如任西安戒嚴司令。共產黨員成之慎和蒙定軍同誌，參加了司令部工作。他們對迎接以周恩來副主席為首的中共中央代表團到達西安和爭取西安事變和平解決與抗日民族統一戰線的形成，同黨的其他負責同誌一起，作出了有益的貢獻。
西安事變後，趙壽山由五十一旅旅長升任十七師師長，在三原與我紅軍會師，多次受到彭德懷和賀龍同誌的幫助和教育，請求我黨派幹部到部隊幫助他的工作。1937年初，中共陝西省委派申敬之同誌為十七師特派員，和蒙定軍、胡振家同誌負責領導十七師地下黨的工作。隨後楊明軒、孔叔東（孔祥禎）、楊曉初、崔仲遠等同誌亦相繼來十七師進行上層統戰工作。
七七事變後，十七師奉命北上抗日，轉戰河北保定與山西娘子關一帶，損失慘重，到山西磧口整訓時，剩餘官兵僅4000餘人。中共地下黨員50餘人，由於在戰鬥中起模範帶頭作用，大部分傷亡，僅餘20多人。1937年冬，地下黨首先派胡振家同誌去中央，向羅瑞卿同誌彙報了工作，羅代表中央對三十八軍地下黨做了“堅持抗日，保存力量”的指示。1938年初，地下黨又派蒙定軍同誌到延安向中央彙報工作，由羅瑞卿同誌聽取了彙報，後由劉向三同誌向蒙定軍傳達了中央關於“十七師地下黨要協助十七師大量培養新幹部，加強部隊的改造工作，鞏固和發展抗日民族統一戰線，健全和發展黨的組織，擴大實力，準備長期抗戰”的指示。蒙隨後到涇陽之雲陽鎮，向陝西省委負責人楊清（歐陽欽）和陝西軍委負責人汪鋒同誌做了彙報，研究了貫徹執行中央指示的具體辦法。