我和胡茵夢在一起的時候，亦有妙事堪聞。結婚第三天深夜3點鍾，有個自稱“中視”林導播的，打電話找胡茵夢，我說：“現在是夜裏3點啊！”他回答說：“沒錯，我知道是夜裏3點，你叫不叫胡茵夢來聽？她不來聽，明天我就公布胡茵夢跟我的床上照片。”我說：“林導播，胡茵夢在跟我結婚前，就開過一張名單給我，名單裏麵沒有你，可見你是冒充的，如果你有照片，那你公布好了。”——這就是李敖的作風，我可以立刻反應，不讓你慪到我的氣。想在我麵前逞口舌之利，差得遠哪。
1980年2月8日，我和胡茵夢在財神大酒店頂樓晚餐，侍者通報說他們經理想過來談談，隨即經理出現，不是別人，就是大名鼎鼎的楊維漢（白雲）。白雲當年是紅遍全中國的大明星，紅到全國照相館櫥窗多以陳列他的照片為招徠的程度、紅到同時被二十八家報紙連載事跡的程度。如今垂垂老去，也過氣了，意態頗為索寞。事後胡茵夢寫了一篇《問白雲》，討論他們演藝人員的“過橋”與歸宿。胡茵夢雖說問白雲，又何嚐不是問自己，因為白雲已老憊，不堪聞問了。兩年後，六十三歲的他，終在日月潭自殺以死，演藝人員的一生浮沉，在他身上，真對比得太強烈了。我識白雲在文星時代，他聽說我家老太是他影迷，特地跑到台中，去看“李敖先生的母親”，當年他的影迷何止千萬，如今要對一個影迷如此珍惜，光此一件小事，就可以喻大了。
我因為是政治犯和異議分子，並且是特大號的，被管製出境，自不稀奇。我第一次政治犯出獄後四年（1980年），為了試驗一下是否能夠出境，我托旅行社辦了出境手續，旅行社回話說，別人都通過了，可是李先生的出境證卻下不來，不知何故。不久，“國家安全局”的幹員林家祺來看我，說政府為示寬大，同意李先生出境了。於是，由警總保安處處長郭學周出麵，約我到他刀光劍影的官衙，從他上衣口袋中掏出出境證，當麵笑嘻嘻地交給我，表示情治機關不刁難了。不料旅行社把出境證送到“外交部”領護照時，“外交部”的專員級科員汪應鬆力持反對頒發，理由是從新聞媒體報道中，事實認定李敖與胡茵夢有離婚行為，但在旅行社送來的李敖戶籍謄本上，李敖卻是未婚，因此不能發護照。我得知後，既笑且怒，乃寫信責問國民黨偽外交部長朱撫鬆。1980年11月15日，由“外交部”領事事務處出麵，回我一信，說：“奉交下台端本月1日致本部朱部長函敬悉。查申領護照按規定須據實填寫護照資料卡，台端所填資料卡之婚姻狀況經查與事實不符，用特函達，請即親自或以書麵委托他人前來本處辦理更正，以憑發照。”我收信後，既大笑又大怒，乃再寫信責問朱撫鬆。我說：因為“丈母娘”扣留胡茵夢戶口圖章，胡茵夢一時遷不到我家，所以結婚時未能即時到戶政機關登記。不料還沒登記，就離婚了。所以送到貴部的戶口謄本上，仍然是未婚。但這是戶政機關的合法文件，是十足合法的“公文書”，你們是公家機關，“經查”手續自以“公文書”為依據，“公文書”上關於我的婚姻狀況，你們竟不引為依據，撇開不采，反倒轉過頭來，要根據報章來“查”，一小塊剪報就算“經查”完事了嗎？照一小塊剪報，就可以推翻附卷的“公文書”了嗎？我這樣責問後，朱撫鬆知道李敖惹不得了，因此下令即發護照給李敖，並把“外交部”中的讀報專家汪應鬆罵了一頓。
可是出境的事還沒完。延續到十年以後，大家還在扯。1990年11月10日，全美華人協會在波士頓舉行每兩年一次的全國代表大會，會中頒發傑出華人成就獎給李敖、田長霖（加州大學伯克利分校校長）、李天和（麻省理工學院教授）三人。我不能出席，隻好以錄音講話，送到美國去播放。波士頓《舢舨》（Sampan Newspaper）的宋明怡小姐報道了我不能去美國的事。提到“華協頒發這個獎給李敖，是要引起世界人士對他在爭取民主自由人權上的承認”，並引述了華協總會會長潘毓剛的談話。11月21日，國民黨政府北美事務協調委員會駐波士頓辦事處致函《舢舨》，指出：“《李敖打消美國之行——台灣政府聲言出國後不予返台》報道與事實不符，經本處向國內查詢複告：李敖先生自民國六十九年（1980年）8月18日核準赴日觀光後，迄無申請出入境之記錄，目前並無依法禁止其出境情形，亦無政府人員與渠接觸談及境管問題，仍請貴報一本公正報道立場，惠予更正為荷。”對這封官樣文章的信，我在11月28日有反駁如下：所謂1980年8月18日核準我赴日觀光，與事實不符。第一，我一生討厭日本，絕不會到日本觀光，何來“核準赴日觀光”？第二，所謂8月18日核準之說，也與事實不符，因為“外交部”一直不肯發給我護照，按照“外交部”自定的作業程序，護照是四十八個小時內發下的，可是我的護照，拖了四十八天也不肯發下。從8月拖到11月，我火了，寫信質問朱撫鬆。半個月後，“外交部”回信了，捏造出“台端所填資料卡之婚姻狀況經查與事實不符”理由，仍舊拒絕發給。11月23日，我再寫信質問朱撫鬆，告訴他說你太太徐鍾佩在《我在台北》一書中罵你是“死鬼”，是有道理的，因為我所填資料卡中，全無與事實不符之處，是“死鬼”手下公務員自己弄錯了。朱撫鬆收到信後，緊張了，於是，“外交部”的護照無條件發下來了，“外交部”收回了“經查與事實不符”的鬼話，不再出麵阻止我出境了。可是，當我買了機票，要去新加坡觀光時，到了機場，卻被攔截下來，原因是我雖有了護照，可是出境證被警備總部收回去了。我在機場打電話給警總保安處處長郭學周少將，他們推托不在，也不肯說明郭少將親手發給我的出境證收回去的原因。我當時恍然大悟：原來是“外交部”和警備總部輪流做壞人，皮球踢來踢去，結果不外是不讓我出境而已。國民黨政府在三十一年的“強迫永不分離”以後，所謂“核準”，隻是騙美國人的把戲而已，一旦我真的要出境了，他們的花樣就來了！如今，北美事務協調委員會裏宣揚台灣自由的知識分子們，他們對李敖不能出境的事實，坐視三十一年都不置一詞，卻對李敖可以出境的描繪，興致勃勃地來函貼金，我看了真覺得好笑。說李敖“迄無申請出入境之記錄”嗎？太抬舉李敖了吧？張學良也“迄無申請出入境之記錄”、孫立人也“迄無申請出入境之記錄”，在官樣文章中，“目前並無依法禁止其出境情形，亦無政府人員與渠接觸談及境管問題”，可見張學良、孫立人不能出境之說，均“與事實不符”。又何必抬舉張學良、孫立人呢？希特勒殺了三百萬猶太人，也迄無官方記錄與依法殺人情形之遺痕，自也同屬“與事實不符”之尤者。願北美事務協調委員會諸君子改行去寫曆史，則希特勒將感拜無涯於地下。諸君子其勉之！