而胡蘭成原本就是一個沒有良心，隻知道享受別人對自己好的人。但是他又有著舊式文人特有的矯情，所以即使他對玉鳳又所不滿，也不會直截了當地說出來，大多時候他都是故意拿話傷害玉風，而玉鳳也隻是一言不發地默默承受著。
胡蘭成不滿玉鳳主要是因為她沒有進過學堂。那個時候“五四運動”正激烈地進行著，“五四運動”下的女學生都穿著白衫黑裙，而且思想也很新潮，玉鳳當然不能與她們相提並論。而且玉鳳又不像戲劇中的女子那樣嬌媚，善於討人歡心，更不會唱歌、刺繡。有一次，胡蘭成好不容易才讓玉鳳開口唱了首歌，而她唱的也是非常土氣的歌曲，這讓胡蘭成更加覺得她很俗氣。另外，胡蘭成喜歡臉尖的女子，他覺得自己本來就長得圓頭圓腦，想互補找個臉尖的，而玉鳳恰好是圓臉。在胡蘭成麵前玉鳳總顯得有些笨拙，即使她惹胡蘭成不高興了，也不會用花言巧語來哄胡蘭成，這個時候，胡蘭成就會發狠用難聽的話刺傷玉鳳了。
即使這樣，玉鳳仍然全心全意地伺候胡蘭成，以及婆婆吳ju花。雖然玉鳳沒有念過書，但是她懂得孝道是人生之根本，所以總是任勞任怨地做著自己該做的事情。
婚後，胡蘭成一直在胡村的小學裏當老師，那個時候半年的薪水也隻有35銀元，而這是他們全家的經濟來源。所以，家裏的日子過得非常艱辛。
直到第二年三月的某天，胡蘭成正在池塘邊釣魚時，接到了一封別人從鎮上給他帶回來的信。這封信是錄取他去杭州郵政做郵務生的。五年前，他還在蕙蘭中學讀二年級的時候報了名，沒想到事隔這麼久才被錄取。杭州郵政局開的薪水非常高，月工資就有35銀元，這足以頂他在胡村教書半年的薪水，所以他滿心歡喜地前往了。
胡蘭成一個人來到了杭州，每個月他都會寄25銀元給母親，自己留下10銀元。在當時，郵電局的工作是相當好的，隻要認真負責，不但可以加薪，而且即使退休了也會有養老金。所以，在郵局工作的同事們，不管少的老的都對上司恭恭敬敬，哪怕做錯一點小事也會被嚇得半死。而一旦有人犯了錯誤，被扣了薪資，其他的同事就會幸災樂禍，麵對你的時候也是擺出一幅天要塌下來的樣子。他們那種事不關己，冷冰冰的態度讓人心寒。那個時候，是由外國人掌控郵局的，因此他們對待顧客相當傲慢，外加同事之間也沒有感情可言，因此胡蘭成瞧不起他們，覺得在這裏做人實在沒有樂趣可言。
有一天，一個集郵者拿著一些郵票要求胡蘭成給蓋章，他二話不說就給蓋了，結果這事被局長看見了，他就嚴厲訓斥胡蘭成不應該這樣做。第二天，一個英國婦女，拿著一些郵票同樣要求胡蘭成給蓋章，胡蘭成吸取教訓便一口回絕了。誰曾想這個場麵又被局長看見了，他走過去跟英國婦女道歉，然後就叫胡蘭成給她蓋章。這下可惹怒了胡蘭成，他長久積壓的憤怒一下上來了，倔強地不肯蓋章。局長什麼也沒說，狠狠地瞪了胡蘭成一眼，便親自給那位英國婦女蓋了章，接著把那位婦女送走了。當局長回過頭時，他對著胡蘭成罵了幾句，胡蘭成實在很不服氣，於是回嘴頂了一句，這下局長惱羞成怒，說了些更難聽的話，就把他給開除了。
胡蘭成被開除之後沒有地方可去，便返回了胡村，雖然玉鳳和母親都覺得失去這份工作有些可惜，但是這已經是無法彌補的事，也就沒有多說什麼。隻是胡蘭成連教書一職也失去了，所以隻好在家閑著。當時幸好還有大哥積潤在，家裏才不至於連飯都吃不上。百無聊賴的時候，胡蘭成就以釣魚來打發日子。
釣魚強調靜心，最忌諱心浮氣躁，而胡蘭成卻是一個不甘寂寞的人，因此總會在釣魚的時候謀劃自己的將來。有一天，他突然想到自己要去北京念書，但是，對家人卻總是念叨著準備去杭州找事做。那時，玉鳳已經有了身孕，胡蘭成卻對此不管不問，他的心裏想到的隻有自己，他實在憋不住了決心一定要出去，於是胡蘭成21歲那年，第一去到了那麼遠的地方。
好在胡蘭成並不是盲目的出走，燕京大學有他兩個同學於瑞人與趙泉澄。九月份胡蘭成來到了北京，在於瑞人和趙泉澄的引薦下，他謀到了一份在燕京大學副校長室當文書的工作。每天工作時間隻有兩個小時，其餘時間他可以去課堂裏旁聽，或者去各處風景參觀遊覽。
那個時候，燕京大學可謂名流薈萃，在校園裏他總能看見些文人，有的時候趙泉澄會悄悄指著某個穿長衫的人對他說，這是周作人，這是陳垣，這是郭雲觀……雖然胡蘭成並不是燕京大學的正式學生，但是他身處那個環境，耳濡目染，也是有很大長進的。
燕京大學在北京的西郊，校門外麵隔條楊柳溝，有一個大校場。當時，張學良就在那裏操練騎兵。胡蘭成去看過好幾次，有的時候天還沒亮他就被馬號聲驚醒，每到這種時候，他的心裏都會湧起一股悲壯淒涼的情緒。
那時北伐已經開始了，軍隊雖然剛到長沙，但是北京城已經蠢蠢欲動了。隻是，胡蘭成當時隻有22歲，那個時候他對於政治，對於國家大事幾乎不懂，實際上他一輩子也沒弄明白政治是怎麼一回事，否則就不會成為文化漢奸了！而他對於報紙上時事的評論也是一竅不通，隻知道看報紙上的一些照片。對他而言，****總司令蔣介石長得也算英俊，宋美齡確實很美麗；至於汪精衛的演說，廣州女學生擲花如雨，他都是以一種看熱鬧的姿態對待的。