祖父被秘密逮捕完全失去自由後，被轉移到距離市區三十華裏的梅嶺別墅（楊瀚著，《楊虎城大傳》，團結出版社，2007年版）。
監禁十二年
1938年1月14日，祖父的第三位夫人謝葆真攜子拯中，到達南昌。結果一到南昌，他們都失去了自由。戴笠將他們秘密關押在市裏的一處居所，半年後才讓他們與祖父相聚。
1938年秋，祖父由長沙移至益陽桃花倉，直到冬天國民黨從武漢撤退時，祖父一家又被解往貴州息烽的“玄天洞”，從此結束了“軟禁”，開始了正式的囚禁生活。
玄天洞是一個天然的鍾乳石大山洞，原來裏麵有一座道觀。特務們看中此處後，趕走了道士，停了香火。因為這個山洞隻有一個出入口，易於警戒，戴笠還親自上山察看一番，修好供特務和憲兵住的房屋後，就將祖父移送過去了。
祖父與家人在洞前隻能看到不大的一片天。祖父住的房屋，都裝有柵欄，室外活動，也有一定的時間，不可以隨意出入。
白天，祖父可以在門口走動一下。他最愛走到離住所十幾步遠的一個山嘴去眺望通過息烽的公路。一到夜間，便不準他出門，隻能在屋內活動。他在貴州關了八年，一個排的憲兵和一個二十多人的特務隊，日夜在那兒看守，這比對張學良的關注度高得多。後來到了重慶，這批人又全部跟著到了重慶。
到1945年，日本投降的消息傳到息烽，人們都很高興。祖父也希望抗戰勝利以及八年的時間能夠減少蔣介石對他的仇恨，給他自由。當時就連一些特務也都這樣認為，因此對祖父的態度也有改善。
1946年春天，在全國政治協商會議上，中國共產黨提出了釋放張學良、楊虎城、羅世文、車耀先等政治犯的要求。蔣介石表麵上不反對，但是暗地裏趕忙下令殺了羅世文、車耀先，同時對中共謊稱早已處決了；張學良被秘密押送到台灣；祖父一家和兩位副官也被移到重慶特區的一個秘密處所——楊家山——繼續關押。
在1947年，因為關押而精神失常的謝葆真含恨去世。在長期的迫害下，我祖父情緒變得很低沉，身體也消瘦下來，不久就病倒了。
1948年秋，祖父患了嚴重的膽結石，住院做手術。在祖父生病住院期間，保密局都有電報向蔣介石報告病情，這些電報也都保存在台灣“國史館”中。
祖父住院期間有位醫生姓張，在給祖父治病時偷偷地把從報紙上看到父親在延安的消息告訴了祖父；祖父也把戴笠他們的幾次勸降，要他承認錯誤就可獲得釋放的事告訴了張醫生。
在李宗仁代行總統後，曾在1949年1月24日指示顧祝同釋放拘押的張學良和祖父。但蔣介石堅決反對釋放。毛人鳳、徐遠舉等人決定把祖父先轉到貴陽。徐遠舉在勸楊轉移時，祖父曾大發脾氣說：“李代總統要釋放我，你們為什麼還要把我轉移地方？我不是小孩，今天轉這裏，明天轉那裏，我不走！我要死就死在這裏。”
後請來了國民黨保密局西南特區少將副區長周養浩勸祖父轉移，周養浩說：“蔣總裁認為如果現在由李宗仁把你釋放，你就更加恨他了，所以他想把你暫時移往貴陽，不久將會把你送往台灣，然後和張學良一起釋放。”於是祖父就在周養浩的陪伴下專機轉往貴陽，又在貴陽的麒麟洞住了近七個月。
周養浩就是蔣介石屠殺的執行者，當時是毛人鳳到重慶傳達蔣介石命令，要處決祖父。執行以兩個人為主，一個是徐遠舉，一個是周養浩。周養浩還親自到貴州，說服祖父到重慶。本來祖父關押在貴州，但在貴州暴露了。麒麟洞是貴陽市的一個自然公園，本身地點就很引人注目，祖父在此被關六個月後，當地一些人就知道祖父在貴州了。蔣介石要殺祖父，而且要秘密殺害，如果在貴州殺了祖父，不免讓人認為是政府行為，但在轉移中殺了，就可以說成是被土匪殺了或是被共產黨殺了。