1932年，偽滿洲成立，溥儀當上傀儡皇帝。日本軍國主義者對原東北的高級軍政人員采取各種手段威脅利誘。在這種情況下，很多東北元老到偽滿洲國任了要職，成了可恥的漢奸。
張作相在1933年退出軍政界以後，一直在天津英租界隱居。當時日偽當局和已成為偽滿洲國國務總理的張景惠，認為張作相是深孚眾望的東北元老，很有號召力，於是對他相交逼迫。先是張景惠派其親信洪維國到天津勸降，洪維國利用他與張作相同鄉及舊屬關係，軟磨硬泡，甚至送來支票以及偽滿洲國的委任狀。後來日本關東軍高級參謀板垣征四郎又親自出馬。板垣征四郎身穿長袍馬褂潛入張作相公館裏，誘迫張作相出來為日偽做事，結果都遭張作相的斷然拒絕。板垣走後，張作相曾憂憤地對家裏人說：我是中國人，我還得給子孫留點德性。
洪維國、板垣的勸降未能得逞，日本特務機關又使出另一種卑劣的手段：在天津的日本租界裏發出“號外”，聲稱張作相已離開天津到霸縣其次子、一一二師師長張廷樞處，準備再出來指揮東北軍。因為當時東北軍已由國民黨統一指揮且張學良正在國外，製造這種謠言的目的顯然是挑撥張作相與國民黨的關係。果然，國民黨當局聞訊後，馬上派特務在張作相的住所周圍盯梢監視。也就在這個時候，在張作相的臥室窗下發現了兩顆炸彈。這炸彈是國民黨特務放的，還是日本特務所幹，就不得而知了。
張作相在天津英租界時，家裏人口很多，加上廚師、聽差等不下百人，開支很大。當時張作相的主要財產都在東北，生活幾乎維持不下了。因張作相的人緣好，大家都不願離開他。他曾通過舊友張景惠、舊屬熙洽要求日偽當局還他的財產，而日本關東軍首腦則以張作相必須到偽滿洲國任職為條件。張作相既拒絕當漢奸，財產也未得還發。日本人對張作相不肯就範非常惱火，曾炸毀了張作相父親的墳墓，占領天津後，又查封了張作相的部分住宅。張作相自1933年隨著張學良下野退出軍界到1945年抗戰勝利，一直閑居在家，以養花種草聊以自娛。
抗戰勝利後，張作相在原東北軍的部分舊屬的動員下，似有重新出來任職的意思。當時社會上也風傳張作相也有可能出來任東北行營主任。但蔣介石曆來排除異己，當然不會再讓張作相這樣在東北有威望的元老出來掌握軍政大權，結果隻給他掛了個南京“國民政府顧問”的空頭銜。
當然蔣介石對張作相表麵還是很客氣的。1945年10月，蔣介石在北平宴請北方高級軍政大員，張作相被邀參加。宴會上，蔣介石把張作相讓在主客座位上，恭維地說：抗戰八年，你一個人在淪陷區，日本人多次引誘你，你沒給日本人做事，這一點就十分可貴。
張作相心裏明白，蔣介石不肯給他實權，卻要利用他在東北軍中的威望來安撫人心。他表麵上虛與周旋，內心裏卻極不滿意，一直沒有去上任。
1948年初，國民黨在東北戰場上土崩瓦解，蔣介石為了維持東北人心，才委任張作相為東北政務委員會副主任委員，實際上仍是徒有虛名。
這年9月，張作相為處理東北財產去錦州，正趕上中國人民解放軍解放錦州，10月15日，張作相在家中被誤俘。當時的東北野戰軍主要負責人知道張作相是東北軍主要知名人士，馬上和他見麵。希望他能站在人民解放事業一邊，做些有益於人民的事情。張作相表示應諾，並推心置腹地訴說了東北軍跟著蔣介石遭到排擠的苦衷。當野戰軍負責人告訴他準備派人護送他回天津時，張作相感激地說，多蒙諸位厚誼。拿我個人來說，倒是願意留在解放區，隻因家在天津無人照料，我回去後，還是想把家安頓到錦州來。在戰爭年代物質條件很困難的情況下，解放軍還特派了救護人員，一直將張作相護送到天津附近的蘆台火車站。張作相非常感激，也很是過意不去。
張作相回到天津後，蔣介石曾派人催請他去台灣，幾次送來飛機票，並為家屬留了半條船的空位，張作相都毫不動心，告訴家屬誰也不準走。
1949年3月，張作相患腦溢血突然去世。周總理得知張作相去世的消息非常遺憾，曾對張作相的外甥周鯨文說道：老先生在東北有很好的人緣啊，我們正想請他出來工作呢，怎麼就故去了！說著感歎不已。