他從小立下“奮鬥”宏願，到86歲時回顧說：人生之路崎嶇多於平坦，忽似深穀，忽似洪濤，好在有橋梁可以渡過，橋梁的名稱叫什麼呢？叫“奮鬥”。
1．鎮江茅家
公元1127年，金國軍隊攻陷宋朝都城開封，虜走欽宗皇帝，北宋被滅。中原官民紛紛逃往江南避難。家住開封鼓樓的宋朝武功大夫茅康全家也加入了逃難行列；輾轉流離，終於在鎮江定居下來。
茅家到江南後的第769年是公元1896年。這一年的1月9日，一個嬰兒的呱呱墜地，在茅家引起了小小的轟動，因為嬰兒生下來手心通紅，人人都說是大福大貴之兆，昭示著茅家將要發達和顯赫。
新生兒的祖父茅謙，去年秋天剛中了舉人，正在準備進京考進士，恰在這時又添了一個身帶吉兆的孫子，更是喜上加喜。他為嬰兒取名“以升”，自然是希望孩子將來前程遠大，茅家後繼有人，家業昌盛。茅謙是一位具有強烈愛國心的讀書人，當時中日甲午戰爭還硝煙未散，他正為國家的命運擔憂，為孩子取名“以升”，也寓意著希望國家升平的願望。
以升出生後不久，甲午戰爭以中國慘敗結束，李鴻章代表清政府赴日本簽訂了喪權辱國的“馬關條約”，激起了全國人民的強烈反對。愛國人士康有為、梁啟超、譚嗣同等聯合全國各地進京會試的新老舉人1300多人簽名上書，要求朝廷立憲變法。茅謙也積極參加了上書活動，上書的初稿上有他寫下的不少意見和建議。然而僅僅3個月，這場變法運動就遭到了血腥鎮壓，以譚嗣同等“六君子”血染北京菜市口刑場而告終。
茅謙在中舉前，已是鎮江、揚州一帶的著名文士，曾被湖南學使聘為幕僚，與譚嗣同結為至交。變法的失敗，尤其是摯友譚嗣同的被害，對茅謙的精神打擊極大。他仕進之心大減，回到鎮江，在詩酒中寄托憤世嫉俗之心。他的後半生以興辦教育、造福地方為己任。
茅謙於1896年底將全家遷往求學環境更好的南京。當時以升才10個月，在母親的懷抱中乘船到達南京。茅家在鎮江根深葉茂，親朋故舊眾多。茅謙雖遷居南京，根基仍在鎮江。他每年都要帶家人回鎮江祭祖掃墓，參與家族事務。鎮江的老宅還在，他家人可以隨時回去居住。茅謙身居南京，仍以鎮江為家，這對幼小的以升影響很大；以升雖不在鎮江長大，卻對鎮江感情很深，一生以鎮江為家。
茅謙在南京，主要從事文化教育活動。1902年，他創辦了《南洋官報》，第二年創辦養正學堂，後又創辦達材師範學堂，晚年還回鎮江創辦城南學堂，培育家鄉學子。
茅謙精通文學，有詩文傳世；年輕時還曾跟嶽父楊子安先生學習過天文曆算。以升從小就喜愛文學和數學，是與祖父的影響分不開的。
茅謙還是一位水利專家。他少年時，正逢太平軍起義，鎮江曾一度是主要戰區，他到蘇北興化避亂數年，在那裏又經曆了大水災，他親眼看到洪水淹沒人民生命財產的慘狀，開始留心水利事業。壯年時他遠遊河南、河北、湖南、安徽等省，考察各地水域；曾參與規劃治理江蘇水患。到晚年，他還參加了廣東的治水工作。他一生寫了60多篇關於水利工作的文章，彙集成《水利芻議》一書。茅以升後來選定橋梁專業，與祖父的影響有很大關係。
茅謙有三個兒子：乃登、乃封和乃經。以升是乃登之子。乃登自幼受父親熏陶，學問紮實，思想進步，在鎮江進學秀才，到南京後補博士弟子員，曾做過《中外日報》和《申報》記者，任過書局編輯，當過國文教員。後來與弟弟乃封一起參加軍隊，對辛亥革命做出一定的貢獻。
以升的母親韓石渠，天資聰穎，靠自學讀了很多書，能詩善文，見識過人。14歲時，父親被誣下獄，她憂急萬分，奮筆寫下一份辯誣狀，有理有據，情辭感人，使父親的冤案得以昭雪。茅謙認為韓石渠真乃奇女子，極力促成了她和乃登的婚姻。婚後，她不僅是乃登持家的賢內助，而且還幫助丈夫出謀劃策，評閱文稿。乃登做記者時，她經常能對丈夫將要見報的文章提出很中肯的意見，把文章修改得更加完美。她與乃登生三男（以南、以升、以新）一女（以純）。她非常鍾愛自己的兒女，但決不溺愛放縱。她最關心的是兒女們的讀書求知和做人處世。以升成長道路上的幾個關鍵時刻，都得到了母親的教誨、激勵和指導。
2．好奇的幼兒
以升天資聰慧，3歲時，母親開始教他識字，5歲就隨哥哥以南到一家私塾讀書。課本是《論語》，老師隻要求學生一節一節地死記硬背，背不出來就用戒尺打手心。小以升覺得沒有一點兒學習的樂趣。
他從小好奇心極強，總是睜大眼睛，歪著小腦袋出神，顯出呆頭呆腦的樣子。家裏有的大人不喜歡他這個樣子，就開玩笑說他不是茅家人，是從門外的台階上撿來的。小以升聽了半信半疑，就去問媽媽，媽媽叫他不要相信，他還以為媽媽在故意安慰他。“管它姓茅不姓茅，”他想，“隻要我長大能讀書幹活就行。”