1929年4月，馮玉祥和蔣介石關係破裂，蔣、馮戰爭一觸即發。鑒此形勢，馮玉祥命楊虎城率部隨孫良誠部向河南撤退，而楊虎城分析形勢覺得不妥，未聽從軍令。此時南京何應欽來電邀楊虎城赴南京一晤，楊虎城應約前往，並與蔣介石見麵。9月，楊虎城部受編為國民革命軍新編第14師，開往河南南陽，楊虎城兼任南陽守備司令。從此，楊虎城部脫離馮玉祥而附屬於蔣氏係統。1930年3月，楊虎城部又改編為陸軍第17師。5月，蔣、閻、馮中原大戰爆發，楊虎城率部向洛陽進軍，一路追擊馮軍，7月，楊虎城部先後擴編為第7軍及討逆軍第17路軍，楊虎城任軍長及總指揮。11月，楊虎城部進占西安。途中，蔣介石電告楊虎城，要他準備組織陝西省政府。此時南漢宸正在楊虎城的軍中，楊虎城遂命南漢宸籌劃此事，自此，南漢宸一直成為楊虎城之臂膀。西安之戰後，楊虎城任陝西省政府主席，南漢宸為政府秘書長，代楊主持政府日常工作。
楊虎城深知自己不是蔣介石的嫡係，蔣介石委任他為陝西省政府主席是一時的利用和迫不得已。所以自上任開始，楊虎城就對蔣介石有所提防。果然，楊虎城在任陝西主席期間，蔣介石為了控製楊虎城，在軍隊中不斷安插自己的親信，以削弱楊虎城的力量；在陝西地方培植自己的勢力，來限製楊虎城在陝西的權力；在政府組閣時也多次要楊虎城安排蔣指定的人選，甚至安插特務分子擔任陝西省教育廳長，並對楊施加壓力，要他撤換南漢宸，楊虎城隻得讓南漢宸離開。南漢宸離開後，南京政府就立刻發出了通緝南漢宸的通令。許多事件表明蔣對楊的不信任和擔憂，楊與蔣的矛盾日益明顯化。
在當陝西省政府主席的幾年間，楊虎城在對付蔣的詭計同時，為當地人民做了不少有益的事，如發展教育事業，提倡學術自由，為培養進步青年，資送他們到黃埔軍校、北京大學以及日本、德國、英國學習，著手抓水利建設，建成涇惠渠和洛惠渠等工程，共可灌溉田地百萬餘畝。
1931年9月18日，日本故意將沈陽附近的鐵路炸毀，造成“九一八”事件，並派遣武裝入侵我國東北，蔣介石命令東北軍絕對不得抵抗，東北軍被迫撤至關內，致使日軍長驅直入，迅速占領東北三省。民族危機感激發了楊虎城的愛國主義思想，當1933年3月日寇占領熱河時，楊虎城趕到石家莊麵見蔣介石，要求出兵抗戰，蔣氏卻不予支持，說什麼中央自有整個計劃，言外之意嫌楊虎城多事，楊虎城隻得怏怏而歸，心中對蔣介石更加不滿。5月，當馮玉祥和吉鴻昌等愛國將領在張家口組織起察綏抗日同盟軍時，楊虎城隻能在言論和物資上予以援助，而不能出兵，精神一度抑鬱不振。從此他意識到蔣氏的不可靠，國家民族不抗日是沒有出路的，要不了多久，他的第17路軍也會徹底完蛋。
1935年初，他奉蔣介石的命令阻截、圍剿由鄂豫皖向陝南轉移的紅25軍，遭到紅軍沉重打擊，其後又先後與紅軍作戰而一敗再敗。這使他清醒地看到，剿共是一種毫無前途的軍事行為。不久，蔣介石以突然襲擊的方式免去了楊虎城的陝西省政府主席的職務。
夏天，張學良的東北軍移駐西北，使西北的局麵更加複雜化了。楊虎城的第17路軍和東北軍開始出現了矛盾，這是舊軍隊中常有的地方軍和客軍之間的摩擦，蔣介石利用這一矛盾，使張、楊二部互相牽製，以便自己從中操縱。他不斷對張、楊二人進行挑撥，一麵說楊虎城是地頭蛇，野心勃勃，不好合作，一麵說張學良墮落腐化，不抵抗日軍而失掉東北，一麵指示特務貼出“陝人治陝”、“驅逐不抵抗的東北軍”的標語來激化兩部之間的矛盾，一時造成楊、張二部不同程度上的衝突和糾紛。西北軍下屬軍官不了解，對東北軍有極大意見，而楊虎城對張學良部卻能從寬容的態度出發，教導下屬要有同情心，不能以正常情況對待這樣的問題。因為東北失陷對於東北軍和當地人民來說幾近於亡國，而張學良又為蔣介石背了這口黑鍋，楊虎城心中是十分明白的。之後，隨著人們對東北失陷後的情況有所了解，陝西軍民對東北軍民有了深深的同情，常常關照他們，兩個部隊的關係有了好轉，為後來聯合發動西安事變打下了群眾基礎。楊虎城對張學良在東北時的處境和遭遇也表示了同情和理解。這年9月，張學良的110師和109師被紅軍消滅，張學良十分沮喪。此時的一天，楊虎城對張學良作了推心置腹的交談，安慰張學良，張學良非常感動，二人關係有了進一步加深。楊虎城還對部屬說：“我們對人（指張學良）要看他的長處，要看他有殺父之仇與亡國之痛。我們要搞好和張的關係，否則就會中蔣介石的奸計而同歸於盡。”此語表現出他深厚的仁愛之心和敏銳的政治洞察力。
同年8月1日，中共中央發表了《為抗日救國告全國同胞書》，號召停止內戰，一致抗日，“共產黨願意立刻與中國一切願意參加抗日救國事業的各黨派……以及地方軍政機關進行談判，成立國防政府問題。”楊虎城聞此訊如同絕處逢生，完全同意中共這一英明決策，並派人研究了具體辦法。11月份，楊虎城去南京參加國民黨第五次全國代表大會，會議期間，他花錢當選了一個中央監察委員，心裏很不是滋味，心想自己從辛亥革命起就鬧革命，到今天還得花錢買官，太丟人了。國民黨五大使他對國民黨徹底失望了。會後他返回西安。
12月，毛澤東派紅26軍政委汪鋒來西安麵見楊虎城，並帶來了一封親筆信。信中，毛澤東語詞懇切地說：“先生同意聯合戰線，盛情可感……。先生如以誠意參加聯合戰線，則先生之一切顧慮與困難，敝方均願代為設計，務使先生及貴軍全部立於無損有益之地位。”毛澤東的來信，使楊虎城深受感動。因此故，汪鋒與楊虎城作了三次懇談，與此同時，南漢宸又派王世英秘密赴西安遊說楊虎城，最後楊虎城同意與中共達成協議。大致內容為：一、17路軍與紅軍建立友好互不侵犯協定；二、雙方互派代表，在楊處建立電台，秘密聯係；三、在17路軍的適當地點建立交通站；四、雙方同時做好抗日準備工作，對部隊先進行抗日教育。這些協議內容後來很快在楊虎城的指示下在楊部落實了。從此，雙方在前線再未發生過衝突。在後來的軍事行動中，楊虎城為紅軍提供了許多方便，同共產黨的合作進入了一個新的階段。
此時，楊虎城的第17路軍、張學良的東北軍和處在陝北的中國工農紅軍形成了三位一體的抗日民族統一戰線，對蔣介石是一個重大的威脅。為消除這種威脅，蔣介石在西安設立了大量的特務機構，成立了西北“剿匪”總部，妄圖控製西北的整個局麵。從1936年的10月開始，蔣介石就又采取了他一貫的政治伎倆，收買和分化不同地方的軍事力量，企圖一舉消滅紅軍於陝西，完成他的“安內”大業，而對日寇的入侵仍然采取不抵抗政策。他從各地調來高級軍政人員齊聚西安，其派駐陝西的嫡係部隊與精銳部隊達260個團共計30餘萬人，他命令在西安擴建飛機場，集中了100多架從意大利買回的新式飛機，準備對紅軍發動全麵的進攻，以為最多一個多月時間就可以消滅紅軍而凱旋而歸了。於是在1937年12月4日，蔣介石殺氣騰騰地來到西安，對張、楊二人以及部下作了多次講話，威脅利誘，要張、楊對他提出的兩個方案作出選擇和決定，一是服從剿共命令，將兩部全部開往陝北前線，向陝北紅軍進剿，中央軍在後麵接應督戰；二是楊、張如不願出兵，則將東北軍調到福建，17路軍調到安徽，將陝甘兩省讓給中央軍去“剿共”。這兩個方案都是楊、張不能接受的，於是，二人仍向蔣介石陳說利害，要求蔣氏聯共抗日，蔣介石卻嚴厲嗬斥張學良，甚至拍案謾罵，揚長而去。張、楊二人見苦諫、哭諫皆無效，經協商，決定采取兵諫的方式來逼迫蔣介石同意抗日。
11月4日至11日，張學良與楊虎城對兵諫作了具體布署：張部負責包圍華清池和西安至臨潼間的警戒，楊部負責西安市內和隴海路西安車站、西郊飛機場的軍事行動，包括解除中央憲兵、特務、警察、中央軍駐上述地區部隊武裝，扣留飛機、扣留住在西安招待所及散居各處的南京軍政大員。12月11日晚上9點，楊虎城召集親信部下，宣布了兵諫計劃，他慷慨激昂地說：“蔣介石不顧民族危亡，一意孤行，堅持內戰，竭力挑撥我們和東北軍的關係。這次蔣介石召開的軍事會議，決定大舉‘剿共’，實際上要消滅我們和東北軍。我和張先生決定硬幹，要幹就徹底幹下去，把蔣介石抓起來！”接著他宣布了具體部署，並指揮部隊迅速到達指定地點待命。晚12點後，張學良和他的高級幹部來到新城楊虎城的住處，坐鎮進行指揮。12日淩晨5時左右，東北軍的白鳳翔和孫銘九部執行捉蔣任務，在潛入華清池蔣的住所時被衛兵發現，發生槍戰，蔣介石的衛士隊士兵一時還未反應過來，就被東北軍士兵用輕機槍掃射而死，蔣介石聽到槍聲，倉皇出逃，向住所外的山間狼狽逃竄，躲在一塊大石頭後麵。捉蔣部隊迅速進入蔣的寢室，發現人不見了，而被子內尚有餘溫，桌上假牙還放在水杯中。參加此次行動的一位東北軍官立即打電話將此情況報告張學良，張學良命令部下查汽車，汽車一輛不少，張學良遂命令部隊擴大搜索範圍。捉蔣部隊在蔣介石藏身的虎畔石附近發現有人探頭，一槍將其擊斃。蔣介石這才驚慌失措地舉起雙手大叫：“我在這裏！”部隊走近一看，蔣介石的秘書肖乃華倒臥一邊，蔣介石隻穿一件睡衣，赤著一隻腳，麵色蒼白，渾身發抖。蔣介石見有人來捉他，問道：“你們是哪一部分的軍隊？”“我們是東北軍！”蔣介石起初以為是紅軍，一聽說是東北軍，就驟然神氣起來，又以為是一部分軍隊嘩變，就說：“我是領袖，張副司令在哪裏？”並表示不肯下山，部隊戰士強行把他拉下了山，押到新城大樓住下。同時楊虎城部也分別解除了西安城中各中央軍部隊的武裝，並拘捕了尚在西安城中的高級軍官陳誠、衛立煌等10餘人。
兵諫的初步行動獲得成功，張、楊立即通電全國，發表了對時局的宣言，《宣言》說：“東北淪亡，時逾五載。國權淩夷，疆土日蹙，淞滬協定屈辱於前，塘沽、何梅協定繼之於後，凡屬國人，無不痛心。近來國際形勢驟變，日寇漢奸，相互勾結，以我國家民族為犧牲。綏東戰起，群情鼎沸，士氣激昂。於此時機，我中樞領袖應如何激勵軍民發動全國之整個抗戰，乃前方之守土將士浴血殺敵，後方之外交當局仍力謀妥協。自上海愛國冤獄爆發，世界震驚，舉國痛心，愛國獲罪，令人發指。蔣委員長介公受群小包圍，棄絕民眾，誤國咎深。學良等涕泣進諫，屢遭重斥。昨日西安學生舉行救國運動，竟嗾使警察槍殺愛國幼童，稍具人心，孰忍出此！學良等多年袍澤，不忍坐視，因對介公為最後之諍諫，保其安全，促其反省。西北軍民一致主張如下：一、改組南京政府，容納各黨各派共同負責救國。二、停止一切內戰。三、立即釋放上海被捕之愛國領袖。四、釋放全國一切政治犯。五、開放民眾愛國運動。六、保障人民集會結社一切政治自由。七、確實遵行總理遺囑。八、立即召開救國會議。以上八項為我等及西北軍民一致之救國主張……”同時張、楊致電中共中央，請中共中央派代表來西安共商大事。
12月13日，楊虎城向自己的部隊作了報告，他說道：“我們這次舉動，把個人的榮辱生死完全拋開，一切都是為了國家民族！我們這次舉動，對國家民族將要發生什麼影響，我們真是再三再三地考慮，假如無利於國家民族，我們無論如何也不幹，反過來說，我們一定要幹！我們這次舉動，無疑的，對於國家的秩序或有相當的影響，但權衡輕重，為了拯救國家的危機，是不得不如此，這樣作，對於國家終歸是有好處的！”12月14日至15日張學良和楊虎城分別在西安電台作了廣播講話，12月16日，兩人又在西安革命公園召開的西安市民大會上作了講話，重申了八大主張，強調了抗日的決心，對兵諫的目的作了充分的解釋。12月20日，他們發表了告東北軍和17路軍將士書，以無比悲憤的心情號召全體將士：“我們親愛的將士們！事實已經擺在我們麵前，我們的國家，已到了生死關頭，真是抗日則生，不抗日則死。我們必須鞏固我們抗日救國的戰線，去與一切破壞我們的惡勢力相拚，方能實現我們的主張，才能收複我們的失地，才能湔雪我們的一切國恥。這是我們由理論而實行的時候了，我們需要團結，我們需要奮鬥，我們必須不辭一切光榮勝利的犧牲。……我們親愛的將士們！我們具有堅強民族意識的親愛的將士們，這是我們起來的時候了！白山峨峨，黑水湯湯，我們光榮的勝利，就在目前，我們一定要到黃龍痛飲的。我們親愛的將士們！我們熱血沸騰的親愛的將士們，我們一定要不辭一切艱險犧牲，去爭取中華民族的解放與自由，去達到我們最後的勝利！”