一九五三年，政府開始實施最艱難的“耕者有其田”，將地主的田轉給耕田的農民。根據土地肥沃和貧瘠程度，將土地分為二十六等。規定地主擁有土地的最高限額，凡超過限額，一律由國家征購，再轉售給農民。地價同公地放領一樣，也分十年向地主償付地價，具體方式是采用債券和股票相結合的方法，其中十分之七為土地債券，另外十分之三為農林、工礦、台泥、台紙等大型公營公司的股票，將這些原來由官辦的企業賣給私人，促使地主的資金轉移向工商業。結果促進了台灣的工業發展，及以後的經濟起飛，同時，獲得土地的農民自然而然提高生產意願，加上美援引進現代化耕作技術，土地生產力大增，達到地盡其利。
父親在“內政部”常務次長任內，曾大力推行、直接領導以上所述的台灣土地改革。當時民智未開，農民很難獲知及了解重大政策消息，父親就由“中央”及省政府與農村複興委員會組成“台灣省實施耕者有其田聯合督導團”，到全省視察、督導，檢討作業，發現症結，解決問題。每年用一半時間親率督導人員、團組，直接下到基層、鄉村去推動工作、排難解紛。足跡所至，遍及山區海隅、窮鄉僻壤。
在文藝界小有名氣
於右任封麵題字《台灣遊記》。
父親很喜歡演講、閱讀、寫作，以及在報刊發表文章。為實施土地改革，父親多次走遍全省巡視、考察，寫了兩本《台灣遊記》、一本《台灣農村訪問記》，以及一部八十多萬字的《耕者有其田紀實》，這四本書是父親實地工作的記錄。因此，父親在藝文界也小有名氣。
那時，在戒嚴令的管製下，沒有太多言論和出版自由，很多具創意的活動和產品都不幸被扼殺了。一九五三年，剛成立的“中國圖書館學會”，期望能推廣圖書館及鼓勵圖書館學的研究，他們根據父親對藝文的興趣和以前經營過書店出版的經曆，覺得可能會得到父親的支持，就準備了一份申請書，詳細寫明他們的構想和計劃，呈交給父親，請他協助申請和補助。果然，“內政部”很快地核準了他們的計劃。在他們開幕儀式上，父親與美國新聞處的克先生(R. C. Krugerm)同為主講人。
往事如煙，離別宦場
蔣經國在坐擁實權後，開始建立他自己的組織，包括“內政部”在內。由於父親的黃埔背景及與蔣介石的親近關係，裁撤他的過程處理得小心謹慎。突然間，父親發覺他在“內政部”完全無事可做，一向閑不住，而且凡事多幹、蠻幹的他，感到十分難堪和苦悶。和陳立夫一樣，父親被派去參加幾個國家的國際道德重整運動。他知道這是他被免職、放逐的最初步驟，不過他很喜歡出國旅遊，探望各地的僑友，所以也就不以為意。
一九五七年，父親在國外時，有三位政府人員到家裏，出示了一份事先為父親擬妥的《退休申請書》，附帶不少的退休金額，請繼母代父親簽字。繼母這時已任“國大”代表多年，不會輕易被人恐嚇、威脅，就告訴這批人說，他們必須親自和父親交涉辦理。那三人也不敢勉強，很快知難而退。在菲律賓參加道德重整會議的父親，接到繼母去信，知道這情況後，立即做下決定：既然新組織不需要他，他也不再留戀。就在菲律賓致電蔣“總統”，請辭“內政部”政務次長一職。
回台北後，“總統”召見父親，希望他對退役官兵就業輔導會多負些責任，要他轉任“行政院”退役官兵就業輔導委員會副主任委員。雖然如此，父親仍稟告，深願辭去軍政職務，專心致力教書、寫作，參加宗教道德服務。得蒙“總統”諒察，不到一年，父親便卸下輔導會副主委的職務；兩年後辭去“行政院”顧問；一九六一年，父親在五十六歲時，依規定辦理軍職退役，從此離開官場。那年我二十四歲，在美國讀研究所。
左起鄧文儀、顧祝同、顧夫人、鄧沈文英於一九六○年。