在被軟禁時代，我跟小蕾不但去了日月潭，還最後去了一次榮星花園。這個花園，後來與我還有一段故事。榮星花園的繼承權，本落在辜家老六即辜偉甫手中，辜偉甫比他哥哥辜振甫、弟弟辜寬敏上路得多，他感於他漢奸爸爸辜顯榮一生受益於鄉梓，亟思有以回饋社會，以代父親報德，故在所屬事業中，力謀發展與公益有關部分。不幸時運不濟，且以不善理財，最後形成“地闊錢窮”（Land rich，cash poor）局麵，對外負債達二億三千萬元，其中尤以鹿港鄉親居多。但因全部財產足以償債而有餘，故亦不改素誌。不料1982年間，他的健康急速惡化，乃預立遺囑，內容業經辜振甫簽字同意在案。不期辜偉甫屍骨一寒，辜振甫就以人所難知的原因，不守承諾。債權人中，鹿港鄉親兩百多人債額一億八千萬元，辜振甫先則拖延不予解決，繼則宣稱他弟弟的遺產不足償債。債權人走投無路，乃由在辜偉甫事業中服務二十年的一位義人林永智出麵，投訴於李敖。我建議的妙計是：由辜偉甫的生前總管周永嘉擬將其擁有的“榮星公司”百分之五的股權出讓給李敖，以借用李敖的力量對抗辜振甫。這個妙計在稍後幾天的一次會議中，向辜振甫提出，當辜振甫得知可惡的李敖即將介入時，“臉色蒼白，呆若木雞”，最後說了一句話：“假如周永嘉如此做的話，六爺（辜偉甫）的債務事，我從此不管了。”但在場的辜寬敏察言觀色，立刻演白臉，向其五兄辜振甫表示不得不管，說讓他再次地處理處理看。於是，受各階層尊重的蔡金塗（人稱“阿城哥”）登場了，辜寬敏請來蔡金塗向周永嘉疏通，最後同意將辜偉甫之債務全部解決。事後，“阿城哥”拉著周永嘉問說：“這個什麼李敖，到底是誰啊！好像’老五‘（辜振甫）很怕他似的。”周永嘉答說：“李敖嘛！隻是個’後生小子‘，會寫一點文章，但很會罵人。”事後，林永智以金錢相謝，我退回了。1986年4月14日我回信說：“雖然你的’感謝李大哥‘的好意，我一律心領，但錢絕對不能收。《戰國策》記魯仲連的話，說：’所貴於天下之士者，為人排患、釋難、解紛亂，而無所取也。‘我這次為辜家被害人給辜振甫壓力、逼辜振甫還債，純為’排患、釋難、解紛亂‘，不涉其他。雖然送錢是你’出自誠意的略表謝意‘，但我縱’受之無愧‘，也要把錢退給你，並多謝你的好意。”“我總覺得，債務的付諸解決，你老弟鍥而不舍地奔走，積功最多，辜偉甫能有你這樣一位青年朋友為他料理後事以全令名，真是他的幸運。我覺得辜家債權人全體應該感謝的是你，雖然他們如今驚魂甫定，來不及感謝任何功臣了。”整個的擺平辜振甫事件，使我對義人林永智十分佩服，他具有最好的台灣人的美德傳統，這樣好的台灣人，我在外省人身上都看不到。
榮星花園盛時，是台北市最漂亮的一座花園，我和可愛的小情人小蕾徜徉於斯，對它一直有深情的懷念。也在那裏認識了辜偉甫。沒想到物非人非以後，我差點做了它百分之五的股東，經辜振甫力事搶救，方免李狼入室。我高興我有那麼大的威信去唱“空城計”，最後智勝了他。當然辜振甫心中絕不承認。他在信義社區自建大舞台，登台自演諸葛亮，他是當亮不讓的，不讓也沒關係，做司馬懿又怎樣？最後的勝利又屬誰呢？
在被軟禁時代，我的報複，不止於“捉迷藏”，還有更狠的。1970年9月3日雷震坐牢十年期滿出獄，我得知國民黨新聞局調虎離山，屆時請外國記者們去中部旅遊，暗中放出雷震，我乃約來《紐約時報》兼《時代·生活雜誌》的特派員夏皮羅（Donald H.Shapiro）和美聯社的特派員普拉特（Leonard Pratt），一大早跑到新店安坑監獄，在我個人被國特“護駕”中，接雷震出獄，使國民黨偽政府無法封鎖這一消息。後來雷震在日記和回憶裏也盛道此事。又如我被跟監快一年時，美國哥倫比亞大學奧森柏格（Michel Oksenberg）教授請我在中泰賓館吃飯，看到我被國特“護駕”而來，極其反感。跟我密談甚久後，他後來與卡特搭上線。卡特當總統時中國政策全部信任他，遂有提早承認中共之舉。——老K使我受明害，我使老K受暗傷，山人自有道理，山人自有山人的反老K方式。你在台灣困擾我，我在海外困擾你。大家走著瞧吧！一些人不明白我的方式，他們以為我是“思想巨人，行動侏儒”，殊不知我其實是個黑天鵝，優遊在水麵上，表麵悠閑，下麵卻劃個不停呢！我被捕後，警備總部的辦案人員就說李敖陰險、說李敖足智多謀：“他把你賣掉，帶你去數錢，你都不知道呢！”——真的李敖，正如是也。