安寧的日子並沒有持續多久，小拜倫的父親又像影子一樣跟到了阿伯丁。不過，他不是來與母親和好一起生活的，而隻是來要錢的。他住在另一條街上。約翰來到阿伯丁，戈登的脾氣變得更加煩躁了，“從遠處看，她十分和藹可親，但所有的信徒都不能和她一起生活兩個月。”約翰在此軟磨硬泡，纏住戈登，哄騙她給他錢。戈登終於又軟下心來，向別人借了300鎊給約翰，自己用每年150鎊收入中的15鎊去還利息，因此一家收入隻有一年135鎊了，生活顯得更加拮據。
大約在1790年底，也就是詩人大約兩歲的時候，約翰又從戈登的姐姐那裏弄到了一筆小錢，便又逃到法國。他在法國積習難改，任意揮霍，又因賭博而債台高築，最後窮到連襯衫也沒有換的，隻有一件襯衫還千瘡百孔，雜貨店的老板再也不賒給他麵包了。他形容憔悴，如同乞丐。大約在1791年的夏天，也就是詩人拜倫3歲左右的時候，他的父親“瘋約翰”在法國自殺身亡。自殺前他說自己“寧可去做個劃船的奴隸”。
當約翰自殺身亡的消息傳到阿伯丁，母親戈登想著孩子從此沒有了父親，自己沒有了丈夫，不禁又十分傷心，她摟著拜倫，開始教他“father”（父親）這個單詞，而當拜倫終於有了“父親”這個概念時，他卻永遠也沒有父親了。
拜倫要自己的父親，問自己的父親在哪裏，母親含著淚，同時教給他另一個單詞“death”（死亡）。父親就是死亡，死亡就是父親，拜倫是那麼早地認識了死亡。他對家庭溫情的渴望永遠像神話一樣遙遠；想要再見到父親，也隻是像想要使地上的落葉重返樹枝一樣渺茫的一個夢而已。拜倫的心過早地蒙上了陰影。
然而更大的不幸卻是拜倫的天生跛腳。他的腳外形上正常，兩腿長短一樣，但一走路，腳踝骨就會扭曲，隻能用腳趾站立。母親驚異無比，給他找來阿伯丁的醫生，醫生也無能為力。又給著名的解剖學家約翰·亨特博士寫信，亨特博士讓人在倫敦定做了特殊的靴子送來，但那也無濟於事，拜倫仍是一瘸一拐地走著。
母親給拜倫治病心切，每夜讓雇來的一個保姆給拜倫緊緊纏上裹腳布，想以此來治療拜倫的跛腳。這就像中國古代婦女纏小腳一樣的方法。每天晚上，拜倫都要忍受著纏腳給他帶來的巨大的痛苦。保姆邊給他纏腳邊問他：“小拜倫，疼嗎，告訴阿姨。”“不疼。”拜倫搖頭，輕輕地說，同時，晶瑩的淚珠似乎要從他的眼眶裏滑落。
肉體上的痛苦還可忍受，而跛腳給他心靈上的傷害卻更是巨大，更是令人難以忍受，“心靈上的創傷流血的時間最長”。別的孩子都無憂無慮，又蹦又跳，享受著童年的幸福。而拜倫小小年紀心靈就蒙上自卑、孤單、不合群的陰影，他常常以自己的跛腳為恥，羞於在別人麵前暴露自己。他變得特別自尊，憂鬱地看著別的孩子遊戲歡笑，而獨自走開。
一次，他看見一群孩子在做遊戲，其中一個扮演跛子一拐一拐地走路，拜倫頓時臉漲得通紅，繼而憤怒地攥起了拳頭，吼叫一聲，衝向前去，把那個演跛子的孩子掀翻在地，打了兩拳，然後跑開。還有一次，拜倫與保姆格雷一起在街上行走，一個女人停下來對格雷說：“拜倫是個多麼可愛的孩子，真可惜有這樣一條腿！”小拜倫氣得眼睛噴火，用一條玩具皮鞭去抽打這個女人，大聲叫道：“住口，不許你這樣說！”
小小的拜倫，就是這樣為了維護自己的尊嚴，早早地開始了戰鬥，而他心靈所受到的傷害又該是多麼巨大。
拜倫在外麵受到傷害，想回到家裏尋找溫暖的慰藉，而在那個殘缺的家裏他尋找到的安慰又是多麼少呀！寡居的母親性情喜怒無常，時而無緣無故地對拜倫發火，給他一陣暴風雨般的猛打，時而又親吻、又撫摸，心肝寶貝似的一陣狂風般的愛。母親有時又拍桌子又摔碟子，把一腔無名怒火發在拜倫身上，大罵他“小狗崽子，你是個徹頭徹尾的拜倫，你和你父親一樣壞”，一會兒又緊緊地摟住拜倫，說他的眼睛和他父親的一樣明亮美麗。母親的愛像她的恨一樣令人難以忍受，小拜倫驚慌而有些恐懼地看著這一切，心中滾動著波瀾。