“瞧瞧，敗家子，醉鬼！這樣子家還能不敗嗎？”
“這樣的女人，真是下賤！”
聽了這些話，安徒生的心裏難過極了，既為家庭的處境和命運難過，又為人們的歧視和誤解難過。
看到母親不得不靠給人家洗衣服來維持生計，安徒生難過極了，流了不少眼淚。這時候安徒生希望能幫母親做點什麼。當時，鄰居很多孩子都在作坊當小工，母親也想，兒子老這樣呆在家也不是事情。祖母就把安徒生帶到一家織布廠去做工——小小安徒生開始了他的打工仔生涯。到工廠打短工掙錢不多，一天才幾個便士。
安徒生到織布廠一看，廠房是一間肮髒低矮的房子，四周的窗戶全被破布和紙片堵得嚴嚴實實。機器轟隆隆地響，人們大聲吵嚷才能聽見。做工的大都是來自歐登塞最底層的窮苦家庭的孩子，都穿得很破舊，屋裏的空氣混濁不堪。不僅如此，還有幾個是監獄裏來幹活的囚犯。在繁重的工作之餘，他們就聊一些露骨的笑話，開一些粗俗的玩笑。
工作是非常繁重的，對從來沒有做過工的安徒生來說，更是繁重無比，他的雙手發麻，脊背疼得像被針紮一樣，機器的轟鳴聲和渾濁的空氣使他頭暈眼花，他一回到家就疲憊不堪地倒在床上，機器的轟鳴還在耳邊糾纏不去，使他難以入睡，即使好不容易睡著了，也噩夢連連。
但是，日子不能一味這樣灰暗下去，必須要有亮點，否則，人會發瘋的。有一天，在工間歇息的時候，安徒生突然唱起歌來。安徒生有一副動聽、清脆、高亢的嗓音，平時他在家裏唱歌，街上的人聽到了都會忍不住駐足傾聽。
在這灰暗的環境中，竟然會出現歌聲，這是多麼大的反差啊。歌聲又是多麼嘹亮啊，大家都驚訝極了，仿佛突然忘掉了做工的艱辛。工友們都帶著敬重的神情聚精會神地聽他那洪亮的歌聲。安徒生後來在自傳中寫道：“當我唱起歌來的時候，大家都鴉雀無聲。人們欣喜地讓安徒生唱了一首又一首。工頭正為人們懶洋洋的勁頭發愁，聽了安徒生的歌，再看大家好像打了強心針似的，也高興極了，特意讓安徒生不要幹活了，就為大家唱歌，讓精神力量轉化為勞動效率。”
安徒生本來就有表演欲望，工頭的這個安排，他非常樂意。有這麼多“觀眾”的支持，他的表演更賣力，更放得開了。除了唱歌，他還給大家表演戲劇——以前在家排練過的霍爾堡和莎士比亞的戲劇，精彩的對白和表演，使他不斷贏得一陣又一陣掌聲和歡呼。
但是，年輕人的注意力是善變的，而且工廠裏的工人們大多性情粗魯，舉止無禮，他們在聽慣了安徒生的歌唱看慣了他的演出之後，就覺得沒有什麼稀奇的了。因此，這樣快樂的生活很快就結束了。
有一天，安徒生又像往常一樣演唱，這時候，大家明顯心不在焉，一個壯實的小夥子怪叫起來：“哈哈，聽啊，聽啊，這個娘們兒唱的……他不可能是個男孩子，他的嗓子多尖細啊！”說著，他就撲過來捉住安徒生，亂抓亂摸，甚至要脫安徒生的衣服。別的工人一下子來精神了，也覺得這個粗俗的玩笑讓人開心，跟著起哄。他們推來搡去。陡然的變故，讓安徒生又害怕又害臊，他著急地叫著，周圍的人更開心，哄笑聲更大了。他委屈地哭起來，在其他人眼裏他更像是個小姑娘了，他們涎皮賴臉地說：“小姑娘，乖乖，寶寶！哈哈！”
安徒生左衝右突，終於掙脫了他們的糾纏和推搡，一溜煙跑回家去，委屈地向媽媽哭訴。媽媽心疼兒子，立刻答應讓他離開那家織布廠。沒多久，媽媽又為他聯係到一家煙草廠去做工，因為聽說那裏的工人要文明一些。於是，安徒生又到了煙草廠，整天幫忙包裝鼻煙。那邊的環境也好不到哪兒去。工人們一邊幹活，一邊被卷煙味兒熏得直打噴嚏。
少年總是健忘和快樂的。在這裏，他又恢複了唱歌的“傳統”，他的嗓音更加高亢洪亮。還為工人們表演戲劇。有幾位工人看了他惟妙惟肖的表演後，惋惜地對安徒生說：“你唱得這麼好，又喜歡表演，幹嗎不去當一個演員呢？”啊！當一個演員，為什麼不呢？這正是安徒生夢想的事情啊！安徒生仿佛看到自己站在舞台的中央。大廳裏燈火輝煌，觀眾們在熱烈地鼓掌，到處是鮮花和笑臉。這一句話為安徒生打開了夢想的大門，他在白天上班的時候設想著未來，晚上輾轉反側的時候也想著舞台和表演。雖然在煙廠的工作相對輕鬆一些，但煙塵傷害著他的肺，安徒生經常弓著背咳嗽起來，有時候晚上也會咳嗽得醒過來。母親非常驚慌，她認為瘦弱的安徒生像他的父親一樣肺不太好，怕如果長期在煙廠工作，兒子的健康會被毀了。於是，她下定決心，趕緊把安徒生從廠裏領了回來。
這之後，安徒生又給一個油漆匠當小聽差。在那兒，他認識了一個善良的小姑娘瑪蓮，他們很快成為了好朋友。安徒生把自己當演員的夢想告訴了瑪蓮，瑪蓮非常認真地聽著，雖然她還不知道劇場的舞台是什麼樣子的，更不用說看過劇場裏表演的節目了，但她還是很認真地傾聽著安徒生遠大的理想，她覺得安徒生不是個凡夫俗子。找到了一個理解自己的知音，安徒生覺得幸運極了。
安徒生鄭重地對瑪蓮許諾說：“如果將來有一天我扮演主角，我的名字就會寫得大大的，印在海報上。到時候我一定會送票給你的，親自請你觀看我的演出，好不好啊？”瑪蓮對此十分神往，她也相信一定會夢想成真的。當然，這都是在油漆匠不注意的時候說的悄悄話，等到油漆匠大聲喊著，支使安徒生做這做那時，他就得拿著油漆桶趕緊幹活去了。夢想啊，是艱難瑣碎生活的潤滑劑。
有一天，母親覺得這樣東一榔頭西一棒子地打工，終究不是個長久之計，於是，她決定把兒子送到慈善學校去。這所學校是為負擔不起學費的窮孩子設立的。學校教員也都很窮，學校的所在地是一幢舊樓房，牆上斑斑駁駁，但卻貼著許多《聖經》故事裏的繪畫，這些多少讓人感受到學校的氛圍。教員們教的都是一些初級東西，比如讀、寫和算術。對安徒生來說，這兒學的東西非常容易，他輕鬆自如。他不必像其他的孩子們一樣回家複習、做作業，更不用說熬夜啦，對他來說，隻要第二天在上學路上回憶一下，就都能搞定了。玩中學，這就是他當時的狀態。他母親對他的學習成績很滿意，很自豪，常情不自禁地跟鄰居說：
“我兒子可聰明了，不怎麼費勁就取得了好的成績。”
她看到別的孩子下學後回家複習到深夜，成績還落在他後麵，她覺得十分幸福。是呀，幸福往往那麼單純，那麼簡單。
那所學校的校長是一個挪威人，名叫韋赫文。他擅長於講古老的聖經故事，講起來活靈活現，引人入勝。安徒生一邊聽他講摩西和亞伯拉罕的故事，一邊看牆上的繪畫，浮想聯翩，陷入沉思，思緒回到遠古，回到遙遠的地方去。情不自禁的時候，他會自個兒扮演起故事中的人物來。同學們饒有興趣地看著他表演，不無揶揄地說：“看啊，這位戲迷！呆子！”
過了兩年更為艱難的日子後，母親不得不改嫁了。安徒生的繼父也是一個鞋匠。母親改嫁後，安徒生跟繼父搬到了另一處地方，離原來那條磨坊街很遠。繼父家的園子比他家原來的所謂花園更大，更美麗，不僅紅醋栗樹比原來園子裏的多，而且還有荼蔗子和其他的樹，鬱鬱蔥蔥，鳥兒飛進飛出，蟲鳴悠揚悅耳，處處充滿生機與活力。新的家也在一條小河附近，小河日夜汩汩不息。
繼父對待安徒生還不錯，尊重安徒生的選擇，不反對他按自己的願望行事。
安徒生雖然常常受人欺負，但有時候也是非常勇敢的。有一次在收割季節，五月的田野，生機盎然，母親帶安徒生到田野拾散落的麥穗。拾麥穗，在安徒生看來，是一件有趣的事情，也是愉快的事情。
但是，這一次就不那麼愉快了。看到有人拾麥穗，那塊田地的管家飛奔過來，拿一根大鞭子，一邊飛奔，一邊呼呼地飛舞著。顯而易見，來者不善，這家夥十分粗暴。母子倆人趕緊逃跑。小安徒生穿一雙木頭鞋，匆忙中把鞋子都跑掉了，光著腳板被麥茬刺得好痛，有的地方都被劃破了口子，鮮血都滲出來了。漸漸的，安徒生氣喘籲籲，腳像灌了鉛一樣，一個人落在了後麵。那管家高高舉起鞭子就要打他。在這緊要關頭，小安徒生勇敢地直盯著他的臉，大聲喊道：
“上帝高高在上，無所不在，一切都逃不過他的眼睛！你怎敢在上帝麵前打我！”
那管家聽他這麼一喊，愣了一下，臉色突然緩和了些，問道，“你是哪裏來的孩子？叫什麼名字？”
“我叫安徒生，我父親是漢斯·安徒生。”安徒生勇敢地回答說，“我和母親撿一點你們不要了的麥穗，又沒有犯罪，你幹嗎那麼凶狠啊！”
那管家見安徒生那麼信上帝，講話有條有理，大方而勇敢，更加溫和、親切起來了，當然不會再打他了，而且，也許是良心發現抑或是人都有心向善吧，出人意料的是，他還給了安徒生一點錢。
安徒生趕緊把錢給了母親，母親自然高興得不得了。
“我這孩子信上帝，有膽子，連那嚴厲的管家都不敢打他，還表揚他。”信上帝的母親見人就說起這件事來。一時間，連小安徒生都有些錯覺，真有點以為是上帝幫了他的忙呢。
有時候站在河邊，看著媽媽洗衣服，安徒生浮想聯翩、思緒飛揚。有個老婆婆告訴他，在歐登塞這條河的對麵很遠很遠的地方，就是古老的中國。假如在這條河上挖土，挖呀挖呀，最終能挖出一條通道，一直通到中國。
中國，該是多麼金碧輝煌，多麼神奇、不可思議啊！小安徒生很希望到中國去看看。假如黃皮膚的中國王子能到丹麥來該多好。月光下，安徒生一往情深地唱著，想象著中國的王子為他的歌聲所吸引，翩然而至，穿過廣袤的大地和深邃的天空，把他帶到神奇的中國。那時他說不定會得到一個水晶城堡呢。後來在童話《夜鶯》中他這樣描寫這些場景：
“在中國，你們知道，皇帝是中國人，他周圍的人也是中國人。我這會兒要跟你們講的這個故事發生在許多年以前，因此最好趁它還沒有被忘記，現在就來聽聽它。我要講的這個皇帝，他那皇宮是天底下最美麗的。它整個兒由瓷磚砌成，價值非常昂貴，但是它太脆薄易碎，誰摸它都得十分小心。在花園裏可以看到最珍奇的花卉，上麵係著美麗的銀鈴，丁零丁零響，人人走過都不由得會注意到那些花。”
無論怎樣的環境，都關不住安徒生的想象——就像春天一到，一枝紅杏就會固執地斜出牆來。