龍華塔相傳建於三國時代，唐朝末年倒塌了，宋朝時（977年）又重新建造。這是一座有七層的八角形木塔，高約40多米，分東南西北四道門人內，裏麵有台階直達塔頂。到了明代，雖然經過五六百年的風雨侵蝕，但它仍完好地屹立著。
徐光啟來到塔下。一口氣爬到塔頂。站在塔頂，放眼望去，遠山近水盡收眼底。遼闊的沃野上，黃澄澄麥浪起伏；村莊像是黃色海洋中的小島，那遠處青翠欲滴的佘山，則是海岸線。奔騰不息的黃浦江就在腳下奔流不息，波光閃閃。
徐光啟雖然曾到過六七十公裏外的金山衛趕考，算是出過遠門的人。但是今天爬龍華塔，俯視家鄉秀麗的風光，這還是第一次。直到太陽快要落下去了，他和姐姐才戀戀不舍地離開了龍華回家了。
這一階段，徐光啟一邊教學，一邊也關心著家裏的農業生產，有時也到田裏幹些活兒。這一時期，徐家的農業和手工業雖然搞得不壞，但並沒有根本扭轉徐家的貧困的生活狀況。明朝末年的封建政權已經十分腐朽，藩王的莊田動輒有幾萬頃，大官僚地主的莊田多的也有一千多頃，少的也有幾百頃，而大宦官的家產往往有上百萬。政府田賦不足，就多加攤派，因此農民、商人、小手工業者受到種種殘酷剝削十分嚴重。他們全家的勞動所得，大部分都要應付徭役和各種苛捐雜稅。
在這樣的社會背景下，萬曆十年0582年）徐光啟夫婦生育了他們的第一個兒子徐驥。萬曆十三年（1585年），徐光啟的祖母尹氏離開了人世。這時徐光啟的父母又都年過半百了，漸漸不能參加很多的勞動了，這就使徐家的經濟又走下坡路了，一天不如一天。在此後的幾年中，甚至到了幾乎破產的境地。但是，徐家終於沒有破產，反而又好轉起來了，這是因為徐光啟在教書、耕讀的同時，沿著科舉的道路又上升了一步。他考中了舉人，於是，徐家的社會地位和經濟情況就隨著上升了。萬曆十五年（1587年）風調雨順，莊稼長勢喜人。金黃色的稻穀、雪白的棉花，一派豐收景象。人們都眉開眼笑，徐光啟一家也是歡歡喜喜的。
徐光啟的父親從田裏回來，心裏特別高興。兒子現在成了秀才，當了教書先生。現在又將得到一個好收成。臉上露出了笑容，總算熬出頭來了！回到家裏，一家人圍著飯桌，你一言我一語，議論著往後的日子該怎麼過。
誰知道，天不作美。老天象發了狂似的，一連幾天大雨傾盆而下，沒完沒了。河湖水一下子上漲了，衝出岸來，淹沒了快要豐收的田野，淹沒了村莊。雨停了之後，成熟的稻子、棉花在水裏淹得已經不成樣子了。人們眼看著稻穀黴爛，棉桃或者爛了、或者凋謝了成了僵瓣棉。
第二年春，徐光啟家鄉一帶，人們沒有吃的，隻好背井離鄉逃亡他鄉，乞討為生。徐光啟家也是吃了上頓沒有下頓，常常到幾個比較富裕的親戚家借糧，徐光啟的學生都散了，學館隻好關了門。徐光啟在家有時看看書，有時到田裏幫父親幹些農活。
看到兒子經常下田幹活，徐光啟的父親心裏也不是滋味。他想，兒子怎麼也是個秀才，老下田幹活，不成體統，自己也不光彩。於是，他和老伴商量了一下，決不能讓徐光啟再幹農活。他們要兒子認真複習，去參加鄉試考舉人，這樣才有前途。
這次鄉試地點是在太平府（即今安徽省當塗縣鄉試每3年一次，由省府主辦。參加考試的是秀才，考上的稱為舉人。考上舉人，便可以和官府裏的官員往來，成為有地位的紳士。有機會的話，還可以做官。
太平府離上海有四五百公裏，來回得20多天，需要一筆不小的盤纏。為了籌措盤纏，徐光啟的母親把織的布賣了，又將自己所用的金釵、金耳環、戒指和手鐲等首飾變賣。父親去向親戚借錢，東拚西湊，終於籌集了幾兩銀子和幾吊銅錢。看見家裏這樣困難，徐光啟真有些不忍心，但父親再三勸解，堅決要他去準備考試。
快到考期了。母親向鄰舍借來幾升米，粉蒸成團，給兒子路上吃。一天，天剛蒙蒙亮，徐光啟接過盤纏和幹糧，兩眼含著淚水告別了父母和姐姐，登船上路。和徐光啟同行的還有董其昌、張鼐、陳繼儒等幾個老鄉。他們的家境都不太好，大家也合得來。
他挑著行李，沿著江邊，走了100多裏的羊腸小路。那小路上鋪滿卵石，當時又下著大雨，一不留心，就會滑倒。
小船沿吳淞江（蘇州河）逆水而上，經蘇州、無錫到丹陽。因遇到暴風雨，行船受阻，一天隻能行幾公裏路。徐光啟想，這樣下去很難準時赴考，和同伴商量了一下，決定上岸改走陸路。
他們沒有錢租轎子，也沒有錢雇腳夫，隻得各自挑著隨身的行李步行。為了趕時伺，他們就走小道。由於盡走小路，往往遇不上客店，吃住都成了問題。走了二三天，家裏帶來的那點幹糧吃完了，常常挨餓。
好不容易趕到太平府，緊緊張張地參加考試，不想一出榜竟又無名。徐光啟平時就不喜歡讀八股文，而近幾年來又多留心於有實際用處的農事學問，而當時的科舉，考八股文，他怎麼會不落榜呢。
鄉試落榜以後，徐光啟也不再回上海了，由同去應試的同鄉人介紹，到廣東那裏當家庭教師。行前，徐光啟寫了一封信托同伴帶回家告訴父母雙親。
這次南行，先是乘坐長江船逆水南下。
幾天後，船到了九江。徐光啟在九江沒有停留，又轉船經鄱陽湖，沿贛江逆流而上，到達贛州。他上了岸，翻過那峰巒疊嶂的大嶺，來到廣東韶州（今韶關），在趙家做家庭教師。
萬曆二十二年（1594年），徐光啟已經33歲了。有一天，徐光啟正在給主人的孩子講課。一個仆人急急忙忙跑進家，讓徐光啟到主人那兒去。徐光啟馬上放下書本，讓孩子自己先練字，便來到前廳拜見主人。
“剛才收到本地教會牧師送來的一封信，約我今天下午到他那兒敘談天主教有關事宜。你準備準備，馬上該走了。”主人一看見徐光啟，就對他說。