丟掉“駐美大使”帽子的葉公超，自搬入鬆江路一個院子居住之後，當局又派人給送來一頂“行政院政務委員”的紙糊帽子讓其戴在頭上。自此，台北當局與葉氏之間，便開始了狸貓戲老鼠的遊戲。葉的家室皆在美國，當局對其來了個“斬足”行動，明令葉不能邁出台灣半步，更不要想出國探望妻子兒女之事，隻能在台灣本島內部轉悠。原來的友朋相好一聽說葉被蔣公下令免職，皆認為背後必有隱情，乃像躲瘟疫一樣躲避其人，再也不敢上門或在路上相遇後打招呼了。尚有自知之明的葉氏除了與幾位相當密切的舊友——而這幾位舊友又不會因與他接觸有所損失的人物如胡適、蔣夢麟、梅貽琦等人來往，實在感到憋不住了，便以“政務委員”的頭銜向當局要部車子，於黃昏時分到台北郊外與海邊轉上幾圈，借以舒解心中的鬱悶之氣。如此往複數日，葉公超感到胸中的悶氣消了不少。有一天，葉驅車轉悠時突然感覺不對，四周好像多了點什麼，腦子忽地想起“跟蹤”一詞，再往周圍一看，果然如此，顯然有便衣跟蹤自己。葉公超大怒，當天晚上就打電話給蔣經國，發了一陣牢騷後痛斥當局派特務跟蹤。蔣經國表麵上對葉極為客氣，似是親兄弟一般，但內心深處從沒有把葉當成自己圈中的人物。蔣經國聽罷，表示可能是主持這方麵事務的彭孟緝誤會所致，一定要與他說個明白，何必如此無禮。結果隔了幾天葉氏再度外出，仍有特務和秘密警察盯睄，葉遂明白是蔣家父子耍的布袋戲，自己實際上已鑽入人家張開的布袋中被軟禁了，遂不再抗議，任憑特務們跟蹤下去。
對於這種非人非鬼的生活，葉公超自是惱怒於心，但又無處發作。一次，葉的老友，曾與蔣經國一度關係密切，後又分裂的“中統”重要特工之一蔡孟堅前來拜會，葉說：“你雖然被經國摘了紗帽，但社會輿論很同情你，好在與老先生有深遠曆史，否則，你如我一樣，不準步出國門，讓你出國亂跑。”蔡說：“你已有一政務委員高職，足以安慰。”葉說：“我此是有‘務’而無‘政’的空名義。”蔡不解此意，葉公超不無憤怒地解釋：“身邊有‘特務’，‘政事’不準問。”還補充說：“行政院會議時，隻有我一人‘小便’，有人隨同‘保護’。”
盡管有特務跟蹤，生活還要過下去，葉公超開始蹲在居室習字繪畫，過起了“怒寫竹，喜寫蘭”的文人雅士生活。幾十年前的好友、時任教於台灣師大的梁實秋認為葉不宜長時間憋在屋子裏，需到外麵透透空氣，遂不避各方射來的警覺緊張目光，力邀葉到校任教，講授“現代英美詩”等課程。
葉自是樂意前往，遂重執教鞭當起了教書先生，隻要是葉氏上課，台下居然坐滿了聽眾，到底是聽課還是觀人，葉並不計較，隻是私下向梁實秋感慨：“還是文人最自由啊，早知今日，何必當初”。然而不久，當局便來幹預，向校方施壓。一個學期勉強結束，葉公超被迫收拾場子走人。
除了特務跟蹤給自己帶來的鬱悶與孤憤，被困台灣不準去美國和親人團聚，亦是葉公超晚年最大的痛苦之一。他說：“我會被困死在這個島上。”1977年，費正清由美國造訪台灣，此時蔣介石已撒手歸天，其子蔣經國掌控大局。費氏回憶說：“在台北最使我們感到高興的是再次會見前任‘外交部長’葉公超，他依舊是一個性格堅強的人，仍然牢牢地坐在政務委員的位置上，他喜歡孤獨，然而卻奉命去處理預算問題。他外出時，秘密警察跟蹤他；當他住院時，蔣經國卻蒞臨探望——一種對最高級天才的奇怪的愚弄。”
1981年臨近中秋節的一個晚上，葉公超在鄰居陳子和的畫室裏歎了口氣說：“我是有家歸不得。”過一會兒又說：“我要給我在美國的女兒畫一幅竹。”在場的人都為他這種孤獨思女的心緒所感染。到了這年的11月，葉公超一病不起，行將進入另一個世界。在彌留之際，他不斷念叨：“我的家人，我的太太、女兒，都要來看我啦！”
1981年11月20日，葉公超在孤寂淒涼中因心髒病於台北榮民總醫院去世，終年77歲。一生曆盡繁華、看慣了熱鬧的他，在撒手人寰之際，身邊沒有一個親人。殯葬時也顯得格外冷清，夫人袁永熹沒有赴台告別，隻以未亡人身份撰獻了一副挽聯：
狂傲本奇才，惟賢哲多能，如此江山煙客逝；賤辰勞玉趾，憶清談移晷，最難風雨故人來。
葉、袁結婚四十多年，總是聚少離多。葉在美國時，隻有在外交場合需要非出麵不可的時候，袁氏才以夫人身份出場應付一時，其家庭生活越來越淡漠，感情亦越來越疏遠，最後竟形同路人。本是一對“有情人”的結合，想不到結合之後卻難言幸福，令後之觀者扼腕一歎。