唐縱赴台後，依然受到蔣介石的重用，逐漸成為蔣經國的得力助手。
1949年8月20日，蔣介石在台北園山成立“政治行動委員會”，由唐縱任主任委員，負責收編赴台特務人員，籌劃特務情報作業。嗣任“總裁辦公室”第七組組長兼黨政幹部訓練班副主任，旋即調任“內政部”政務次長。
蔣介石為了兒子的接班問題，可謂煞費苦心。到台後，蔣傳子之心更加迫切。為了便於長子繼位，蔣介石對黨政部門進行了改革。首先委任蔣經國為台灣省國民黨黨部主任。到了1950年，改由蔣經國任“政治行動委員會”主任，唐縱對此毫無怨言。由此，蔣經國掌控了台灣特警大權。
退出特警界後，1964年唐縱創辦台南家政專科學校，任董事長。同年調任“國防會議”副秘書長暨“戰地政務員會”委籌備處主任。參與起草《國民黨改造綱領》，並兼任總裁辦公室組長和黨政訓練班主任。著有《思與行》、《美國政治與英美政黨之比較》和《黨友之理論與實踐》等書。他是國民黨七至十屆中央委員，當選過國民黨中央委員會秘書長、常委。1969年任駐韓國“大使”，翌年回台，就任“中國農民銀行”董事長。6年後退職，受聘“總統府國策顧問”。
1981年10月，在台北市的一家高級醫院裏，一間單人病房中，躺一個病已垂危的老人。
病房裏的布置差不多完全是；白色的。隻有放在桌上的一盆花，開著淡紅的小花，透著幾分精神，傲視著這冷寂的白色世界。
“呀”地極輕微的一聲，門開了，走進來幾位中年人和幾個年輕人。午輕人說：“爺爺，我們來看你老人家了。”
病床上的老人微微睜開眼。他頭發已經全白，白臉是是一條條的皺紋，顯得很蒼老。
隻眼睛裏仍然顯出不同常人的光芒，使人一看就知道，他是一個富於計謀、深沉的人。
他就是唐縱。
唐縱揮揮手，很吃力地示意兒女們和靜子們坐下，他覺得艱累，臉上露出不願說話的神情。
於是一個兒子唐曉東輕聲說：“大家不要說話……”病房裏又恢複了寂靜。
在寂靜中，唐縱慢慢地從少年時回想著自己的一生。
一日，父親唐老板正在櫃台上算帳，忽然聽到一個孩子的喊叫聲。
“不好了，不好了，乃健跟人打架了！”
唐老板急忙跟著那小孩跑去，遠遠地見兒子被打得鼻青臉腫，但卻不哭。
唐老板快步走過去，打他兒子的是隔牆人家的兒子。他們兩家相處一向很好，唐老板忍住怒火訓斥了那小孩幾句，抱著小乃健回家了。
不一會，隔壁人家的大人帶著小兒來向唐老板賠禮，並帶來幾隻雞蛋，弄得忠厚老實的唐老板倒不好意思起來，連道：“小孩子打打架，在所難免，何必這樣。”
“小狗子，還不快向唐老爹賠不是？”隔壁家大人拉出躲在自己身後的兒子。
小孩咬著嘴唇向唐老板跪下來，唐老板急忙道：“乃健，快快讓小狗子哥起來。”
小乃健微笑著從母親身邊走過來，他微笑著把小狗子拉起來。
小狗子站起來，也露出笑容。乃健笑著湊到小狗子的臉蛋上，突然隻聽小狗子一聲淒厲的叫喊，捂著臉哭起來。
乃健微笑著走回母親身邊。
眾人看時，小狗子捂臉的手指縫中滲出鮮血來。唐老板拉開小狗子的手，隻見他的左臉被咬下了一塊，鮮血從裏麵湧出來。驚得他回來看兒子時，隻見小乃健仍微笑著看著他……
接著，他又回憶到投軍黃埔，回憶到在德國度過的那些異域歲月，以及在侍從室蔣介石身邊的時光和主政警察的幾年。回憶得最多的，則是軍統風雲及自己和戴笠、鄭介民、毛人鳳之間的恩恩怨怨。
他還回想起從大陸敗退到台灣後的事情。
有一天，唐縱這個警察總署長坐車上街，看到幾個警察扭住一個人，那人似乎有點麵熟，他趕緊命令停長車。
“什麼事？”唐縱威嚴地問。
“他偷東西吃，我們抓他，他還打人。”一個警察回答。
“唐署長，是你呀！”那人驚叫一聲。
唐縱認出那人叫王展鵬，曾當過師長，現在生活不下去偶爾會偷點東西吃。說話間，王展鵬顯得很羞愧，眉宇間依稀可見當年久經戰火的神情。
“堂堂國軍師長，流落成了什麼樣子？”唐縱會不忍。