和不少那個年代出生的台灣本土人，尤其是宜蘭人一樣，林毅夫幼時家境也十分貧苦，母親以洗衣謀生。這個年代的台灣南部和東部的普通農民家庭都有這樣的共同記憶:父母親在田裏勞作，為了防止孩子亂跑，發生危險，常常會在地上挖個洞，把孩子放進去。回家時，再背上回家。稍微長大點，孩子會到田裏拾稻穗、撿地瓜。到了夏天，溪裏漲水的時候，就到溪邊拾溪水衝下來的芒草、枯木，回家當柴火。
雖然家境貧寒，但父母親還是咬牙堅持讓林毅夫讀書，因為讀書是一件可以改變命運的事情。林毅夫排行老小，兩個兄長非常疼愛他，為了供他上學，哥哥們早早開始工作補貼家用。
不過林毅夫也很懂事，每天放學騎自行車到很遠的親戚家提泔水回家喂豬。由於家住夜市附近，環境嘈雜，他總是晚飯後先倒頭大睡，到了午夜才起來念書，念到第二天的清晨為止。
受父親影響，林毅夫從小酷愛讀曆史。“當時討論很多，一般就是讀曆史，知道中國過去非常輝煌，知道中國在近代受到很多欺淩，作為中國的知識分子，就覺得對這個天下，對這個國家要有一份責任。希望通過自己的努力，能夠做點事情，讓這個國家富強起來，這是小時候一個追求的目標。”林毅夫在接受鳳凰衛視專訪時回憶，父親在其很小的時候就常為林毅夫講《三國演義》、《水滸傳》、《說嶽全傳》等中華民族傳統故事。①
就在這樣艱苦的環境下，他的功課卻一直很好。林毅夫在宜蘭中學初中部畢業後，獲保送就讀宜蘭高中，後考上台灣大學--這對於鄉下人來說，是個奇跡，因為全島所有的孩子都想考入台灣大學，它是台灣最高學府。
要不是因為政治原因，擁有這段經曆加上“世界銀行副行長”的成就，林毅夫也有資格被稱為“台灣之子”。台灣媒體曾稱陳水扁為“台灣之子”。陳水扁的家境也十分貧寒，但是陳水扁的成績同樣十分優秀，並以優異的成績考入台大。
如今，林毅夫已經是著名的經濟學家，其兄長林旺鬆也是知名台商，但是林家在台灣依然很低調。由於政治原因，林家人在宜蘭一直非常低調，多年來做瀝青和機械生意。林家兄弟的家境都很殷實，但他們都盡量避免在外麵曝光，再加上台灣當局對林毅夫這樣的“叛逃”人物並不願宣揚，所以除了老鄰居和消息靈通的媒體，普通百姓對他們知之甚少。
在台灣宜蘭東門夜市附近一條狹窄的小巷子裏，林家老宅就是淹沒在一群外觀相仿的三層民宅中的一幢小樓。這是一幢再普通不過的民房，一樓是一家美發沙龍，林毅夫二哥的家人繼承了祖業，美發店門麵不大，裝修也很簡單。