安徒生的家庭很貧困，一家人常常為了生計問題而愁眉不展，安徒生在貧困和孤寂中度過了自己的童年。
安徒生的父親小時候渴望上學念書。他乞求父母把他送到拉丁學校去學習，但父母覺得家裏太窮，實在負擔不起這所學校的學費，隻讓他到一所慈善學校念了點書，便叫他當了一名鞋匠，靠這門手藝來掙一碗飯吃。
安徒生的父親並沒有把心思放在鞋匠手藝上。他幹鞋匠活時，兩手顯得那麼笨拙，但為兒子做起玩具來，那雙手卻靈巧極了。他給兒子做望遠鏡、玩偶舞台、拉洋片的可變換的圖畫等。他特別喜歡給小安徒生讀他收藏的霍爾伯格的劇本和《阿拉伯故事集》等書。他一讀起書來，什麼愁苦的事兒都可以忘在腦後。
他一生沒有什麼歡樂可言，隻有跟兒子在一起玩耍、讀書，才感到無限的快樂。
父親把一切希望都寄托在獨生兒子的身上。他對安徒生說：“我的命苦，沒有得到念書的機會，你一定要有誌氣，要爭取學些文化，使自己成為有知識的人。”
沒有正規地上過學，這一直是安徒生的父親的一塊心病。有一次，拉丁學校的一個小學生到他家來讓他做一雙新鞋子。在他給那小學生量尺寸時，這位小學生把書包裏的書拿給安徒生看，告訴他在學校裏都學些什麼。這時，小安徒生無意中看了父親一眼，奇怪地發現父親眼裏噙著淚水。
等那個小學生走了，父親對小安徒生說：“孩子，你聽著，等你長大了，一定要有一股子頑強勁兒，不要怕窮怕苦，要不顧一切地奔一個目的：念書！我可是沒有這個機會了。你就沿著這條路向前奔吧！”
父親在貧困的生活環境中，沒有忘掉對安徒生的啟蒙教育。在他家那唯一的一間狹小的房子裏，隻有一張做鞋用的工作凳、一張用棺材架改裝的床和安徒生晚間用來睡覺的一條凳子。父親卻為兒子布置了一個藝術的環境：牆上掛了許多圖畫和裝飾品，櫃子上擺了不少玩具。工作凳旁還有一個矮書桌，上麵放有書籍和歌譜，門上貼著一幅風景畫。
通過廚房的梯子可以到達屋頂，與鄰居家之間隔著的排水溝有個土箱子，裏麵種著香蔥和西芹，這就是安徒生媽媽的小菜園，這同時也給童年的安徒生帶來了無限的想象空間。在無法擁有花園的貧苦童年裏，安徒生靠這個蔬菜箱子，編織著五顏六色的夢想。
後來，安徒生的童話《白雪皇後》裏長著茂盛植物的大匣子，就來源於童年時母親的這個蔬菜箱子。
父親常在勞動之餘，會抽時間陪安徒生玩。為了排解兒子的寂寞，他常常給安徒生講一些《一千零一夜》中的古代阿拉伯的傳說。
有時，為了調節一下氣氛，父親還特地給小安徒生念一段丹麥著名喜劇作家荷爾堡的劇本，朗誦莎士比亞戲劇中的章節。這些劇本裏的故事啟發了安徒生，他經常把大人們講的故事，通過自己的設想演繹成新的故事。
但這還不能讓安徒生感到滿足，父親就用破碎的布片給木偶縫製小衣服，把它們打扮成討飯的窮人、沒人理睬的窮小孩、欺壓百姓的貴族和地主等，並根據自己的實際生活體驗編起木偶戲來。
為了擴大孩子的眼界，豐富孩子的精神世界，父母親同意並鼓勵安徒生到街頭去看油嘴滑舌的生意人、埋頭工作的手藝人、彎腰曲背的老乞丐、坐著馬車橫衝直撞的貴族和偽善的市長、牧師等人的生活，獲得各種感性的經驗。
安徒生是獨子，因此深受寵愛。媽媽總跟安徒生說，他比自己小時候幸福多了，好像是當成貴族的孩子來撫養的。安徒生媽媽小時候，外公、外婆趕她出去乞討。她不能這麼做，就坐在歐登塞一條河的橋下哭了一整天。
父親凡事都順著孩子，小安徒生占據了他的整個身心，他活著就是為了孩子。於是，所有的星期天，都要花整天的時間給安徒生做玩具和圖畫。在安徒生的記憶裏，隻有在這樣的時候才能見到父親的笑容，因為作為一個手藝人，他從未真正感到過快樂。