1976年11月19日，我第一次政治犯出獄了。這時再過五個月，我就四十二歲了。由於吳俊才安排我去政治大學國際關係研究中心做副研究員，該中心主任蔡維屏先約見了我，此公是個官僚，虛情假意，像個YMCA（基督教青年會）總幹事。言語無味。不久聘書由女職員送來，我說：“副研究員相當於大學副教授，過去按老規矩，聘書都是大學校長親自送上門的，怎麼派女職員送來了？這是哪門子禮遇？”女職員說：“蔡主任最禮遇李先生了，別人的聘書，都是工友送去的。”我聽了，恍然大悟，時代已經變得太多了。
形式上在“國關中心”十三個月後，吳俊才終於同意我自動辭職了。這時我四十三歲。再過一年，1979年6月，我四十四歲，終於東山再起，複出了。複出後最風光的四件事是出書、上報、結婚和離婚。出書是由遠景出版公司沈登恩推動，上報是由《中國時報》高信疆邀寫專欄，當然立刻引起國民黨官方的不快，後來壓力迭至，報社主人餘紀忠不堪其擾，雖未逐客，我這客人，卻不得不自逐也。最後主客雙方，乃分手焉。在大大小小的官方壓力中，一個有趣的壓力是：我在文章中，自稱自己坐牢那段歲月是“蒙難”，也構成大逆不道了。這一罪狀，官方是由蔣孝武提出的，令人頗堪玩味。當時常住美國的江南聽說了，寫了一篇《“蒙難”也不能隨意用嗎？》在海外發表，為我聲援，可見當時文網之密，已經到了什麼程度，連無知之徒蔣孝武都可幹涉言論了。後來蔣孝武派人殺江南，若說禍起於“蒙難”之辯，於理亦非不可通也。
胡茵夢和我的婚變，內幕也涉及政治性。胡茵夢和我結婚前，本是國民黨，她寫《特立獨行的李敖》發表，早就被國民黨透過“中影”向她警告。她和我同居到結婚，壓力始終不斷，國民黨逐步封殺她在演藝事業上的發展，使她非常沮喪。她最後抵抗不了這種壓力，而屈服、向官方表態，表演“大義滅夫”，這是很可理解的。胡茵夢出身一個不幸的家庭，又因她的美，被社會慣壞，她的反叛性，是沒有深厚知識基礎的、缺乏推理訓練的。她的舉動，太多“表演”“假戲”與“作秀”性質。最後，當這種舉動滲入政治性的時候，我覺得這一婚姻就該立刻告一結束。孟絕子有一段話說得好：“在李敖的天地中，胡茵夢找不到真善美。李敖的天地中不是沒有真善美，但那是董狐、司馬遷、文天祥那一類血淚染成的真善美，是‘慷慨過燕市，從容做楚囚’式的真善美，是悲壯而深沉的真善美，而不是胡茵夢心目中的真善美。”但是，胡茵夢是不知輕重的，她被人利用，用不真實的方法傷害李敖，最後傷害到她自己。胡茵夢努力求真求善，是她的大長處，但她用作偽的方法求真、用作惡的方法求善，結果鬧得親者所痛仇者所快，最後連美都沒有了！
胡茵夢向官方表態，表演“大義滅夫”後第二天（1980年8月28日），我看了報，決定跟她離婚。我先請來原始的證婚人，孟絕子和高信疆，表示我今天下午就離婚，“解鈴還須係鈴人”，還是麻煩你們兩位在離婚證書上簽個字。離婚證書上，我討厭一般的套語，我隻寫上“協議離婚”四個字，就告完成。孟絕子簽了字，可是高信疆卻一再推托，當我得知真正的原因是高信疆太傳統、不願在離婚證書上簽字以後，我也不好勉強他，就帶著我和孟絕子先簽好的離婚證書，一邊請人送去給胡茵夢（因為我不想和她再見麵了），一邊匆匆趕赴忠孝東路大陸餐廳，主持記者招待會，宣布離婚。這時候，胡茵夢在她家得到我通知離婚的消息，大感意外，手拿離婚證書，約來律師李永然研究一番。李永然說最好請李敖過來一下。於是胡茵夢打電話到大陸餐廳找我，說她很難過，不過既然離婚，她也接受。在手續上有需麵談之處，請我過去，我同意了。記者得知後，蜂擁直趨胡茵夢家。胡茵夢登時換上黑底素服，以迎記者。我在路上，特別繞道到花店，下車買了九朵玫瑰花，再上車去胡茵夢家。我到時候，整個客廳已擠滿記者，我把花送給胡茵夢，她為之淚下。胡茵夢表示，律師說你寫的離婚證書，文字太簡略了，最好能照一般寫，寫上些男婚女嫁各不相幹等語，我懶得堅持，就說可以。於是胡茵夢親筆寫離婚書兩張，然後是請證人簽字，胡茵夢表示，律師說一個證人不夠，孟絕子以外，希望再找一位簽字，我說高信疆不便簽字，你找證人好了。於是胡茵夢當場向記者們說，有誰願意見證一下。大家麵麵相覷一陣子，忽然人叢中冒出一記者，說我願意。胡茵夢同意了，請他過來，我一看此人，不是別人，原來是“段宏俊”！段宏俊當時好像是台港地區一家小報的負責人，有記者身份，他應邀簽字，我沒有拒絕的必要與理由。當年我主持文星時，段宏俊以自由太平洋文化事業公司負責人身份登門拜訪，那時候他是因叛亂坐牢的受難出獄者、是被國民黨剛剛“掃蕩”過的，並不是後來跟著國民黨走的“中央委員”。我這次離婚，後來康寧祥推出的李筱峰趁機影射李段關係如何如何，並說段宏俊在離婚證書上“蓋章擔任見證人”，是“大家都知道”的。這又完全是造謠。看看報上登的離婚證書吧！不但證人沒有蓋章，連當事人雙方也都是匆匆以簽名表示的，誰又有備而來的、沒有必要的蓋什麼章？康寧祥推出的李筱峰，虧他還是學曆史的，對整個離婚的過程，全不求證，就貿然曲解、亂造印章，這樣子居心、這樣子用心、這樣子粗心，還被康寧祥請出來主持他們“首都公政會”中“黨外史”，這種“黨外史”，我們還敢看嗎？自古以來，作史也好、修史也罷；正史也好、野史也罷，下筆之際，無不講究“史德”“史識”“史才”，領教了康寧祥推出的李筱峰的“黨外史”，誰還敢做黨外啊？因為段宏俊是國民黨，造謠者刻意要刻畫出李敖勾結國民黨的畫麵，這種用心與居心，實在格局太小了。