當時在一中有一位男教師名叫賀希明，也是共產黨員，一直暗戀著李文源，卻一直求之不得。看到胡蘭成和李文源挺親密的，就懷疑李文源心中有了胡蘭成，但是又不能確定，於是就借著一次胡蘭成和其他幾位同事在他房裏玩得的時候拿話來試探他。胡蘭成當然不高興了，於是說道：“那李文源也不過和千萬人一樣，是個女人罷了，有什麼神秘複雜的。”這自然不是賀希明想要的答案，於是就又拿話來激胡蘭成，問胡蘭成敢不敢打賭和李文源親上一個。胡蘭成明知是激將法，也知道賀希明是想陷害他，但是，這時他的執拗勁又上來了，於是就故意要做給眾人看，當即起身到女生宿舍，徑直走進李文源的房間。當時已經快要打鍾吃晚飯了，李文源剛洗過澡，正一個人獨自坐在那裏，看到胡蘭成進來了，趕緊站起來打招呼。胡蘭成卻一語不發，徑直走上前抱住她就親了一下，然後撒手就走。
李文源哪裏遇到過這種事情，更不明白胡蘭成為什麼要這樣做，當時就怔住了，一動不動的站在那裏愣了半天。如果李文源不知道胡蘭成為什麼親她，倒也沒有什麼事了，但是那賀希明也不是個省油的燈，他偏要煽風點火，於是就對李文源說胡蘭成是因為打賭才親她。李文源勃然大怒，立刻去告訴了校長。不料校長劉九思隻是笑了笑，卻並未批評胡蘭成，大概他也覺得這隻是年輕人之間的玩鬧罷了，不能較真。
但是畢竟人言可畏。賀希明自然不會放過這個攪壞兩人關係的大好機會，於是就把事情的原委說得滿學校盡人皆知。那個訓育主任潘某本來就對胡蘭成不滿，這次終於找到了機會豈能放過他?還有一個叫劉淑昭的女人更是對胡蘭成的無禮行為深惡痛絕。這樣一來，這件事情在學校裏鬧得沸沸揚揚。李文源更是對胡蘭成的非禮感到氣憤，因為這使她非常難堪，現在又使她在學校裏抬不起頭，從此不再理他。而胡蘭成卻非常執拗地認為是李文源把這事告訴了校長，這是沒有誌氣的表現，心裏對她也非常氣惱。於是兩個人互相氣來氣去，變得形同路人，見了麵更是避而遠之，像見了瘟神似的，話自然是不會再說了。
那學期結束的時候，胡蘭成被學校解聘了，李文源也被學校解聘了，這也是情理之中的事情，因為輿論的壓力實在是太大了。胡蘭成被解聘之後收到了百色第五中學的聘書，算是沒有失業，隻不過是換了個地方換了個環境而已，因此倒也沒有感覺到煩惱。
在離開一中的前一天晚上，胡蘭成正在房間收拾行李，李文源忽然進來了，說要和他一起去百色。胡蘭成感到非常吃驚，問道：“你去那裏做什麼?那裏又不聘你。”李文源說道：“我隻是跟你去。”胡蘭成立刻被驚待了，頓時無言以對。此時再細看她，隻見她雖然沒有打扮，卻自有南方女子的綽約風姿，也很漂亮。心裏不由地一動，但也不敢草率，於是推托說這件事情最好還是認真考慮為好。第二天，胡蘭成邀請了一個關係比較好的同事古泳今到西江上蕩舟，和他商量這件事情。古泳今大概早就知道他會就此事發問，於是當即回答：“你續娶應該，但李文源不宜於家室。”
胡蘭成茅塞頓開，回去直接對李文源說，你不宜於家室。不料李文源卻一心跟定了他。直到後來胡蘭成去了百色，已經去了香港的李文源還幾次三番地寫信說要來找他。胡蘭成那年已經28歲了，有一種非常現實的想法，就是“不要戀愛，不要英雄美人，惟老婆不論好歹總得有一個”，於是就在同事的介紹下認識了一個名叫全慧文的女子，並且一見麵就確定了關係，隨即就結了婚。這在李文源看來，好像胡蘭成是為了讓她死心才這麼匆匆新娶的。所以在傷心之餘，勉強嫁給了一位師長。
後來胡蘭成又從百色的第五中轉到了柳州四中教了兩年的書，在此期間他的母親吳ju花因病去世，常以孝子自詡的胡蘭成竟然沒有回去奔喪!這不知道該算是他的怎樣一副嘴臉!在這段時間裏，胡蘭成除了教書授課之外，對馬克思主義產生了濃厚的興趣，花了相當多的時間去進行研究，連政治學和經濟學都有所涉獵。雖然並沒有什麼成果麵世，但是對於政治和經濟總算是有了一些認識和了解，這對於他以後參與政治也起到了一些作用。