詩人拜倫的父親約翰·拜倫，是一個十分英俊的人，他年輕的時候在德國的一所軍事學院受訓。後來，他加入了英國衛隊，參加了對美國的戰爭。約翰也是一個性格粗暴、行為粗野的人，他時常破口大罵甚至毆打別人，而且他還瘋狂地賭博，但他的賭技不高，而且沒有什麼本錢，最後弄得債台高築，為躲債東奔西藏。一次他與一個來索債的人口角，大怒之下把那人大打一頓，然後逃之夭夭。從此，拜倫的父親臭名昭著，人們都稱他為“瘋約翰”。
“瘋約翰”20歲時回到倫敦，由於有機會結識一些上層人物，因而結識了宮廷大臣的妻子科爾尼斯夫人。科爾尼斯夫人已經是三個孩子的母親，“瘋約翰”憑一張漂亮的臉蛋，很快贏得了夫人的歡心，兩人定下情來，一同私奔逃到了法國。
他們在國外沒有任何經濟來源，隻靠著科爾尼斯夫人的4000鎊年薪維持生活。而這時拜倫的父親“瘋約翰”又在外麵狂賭亂花，那點錢根本不夠用，於是他又開始大動幹戈，對妻子發脾氣。在法國，他們生下了一個女兒，取名叫奧古絲塔·拜倫，這就是詩人的同父異母姐姐，那個“一直是兩個彼此不能疏遠的生命”的姐姐，姐姐對詩人後來的一生有很大影響。
“瘋約翰”夫婦在法國待了幾年，貧病交加。1784年初，科爾尼斯夫人在法國突然間一命嗚呼，有人認為她死於“瘋約翰”的虐待。這下子詩人的父親約翰·拜倫，就是那個著名的浪蕩子“瘋約翰”一下沒有了經濟來源，在法國不名一文，再也混不下去了，隻好又回到英國。
約翰回到英國，到一個光棍們常去的地方，在那裏結識了一個年輕的蘇格蘭女郎，凱瑟琳·戈登。戈登長得很矮小，稍微有些胖，長長的鼻子，很深的膚色，長得一點兒也不漂亮。但她是一個孤兒，並且繼承了兩三萬鎊的遺產，其中3000鎊是現金。約翰正被債主們追得焦頭爛額，此時就像抓住了救命稻草一般，要和戈登、或者說要和戈登的錢結婚；而戈登也迷惑於約翰英俊的外表，兩人很快結婚，日子選在1784年5月13日，那時約翰第一個妻子死了還不到半年。這個小個子的姑娘凱瑟琳·戈登，就成了詩人的母親。
戈登是一個由祖母撫養成人的姑娘，長期被灌輸嚴謹節儉的思想，接受了相當不錯的教育。她喜愛讀書，注重對孩子的教育培養，性格暴烈，行事衝動，勇敢而又正直，這對詩人後來的影響非常巨大。
約翰·拜倫夫婦來到蘇格蘭蓋特居住。約翰仍然是老樣子，任意揮霍妻子的財產。他甚至晝夜開舞會，引來大批的人，在舞會上和那些小姐們勾勾搭搭，這使戈登又氣又恨。約翰還常去賭博，一賭即輸，越輸越賭，越賭越輸，3000鎊的現金很快就花光了。他又逼著妻子賣掉銀行的股份，股份又很快被他揮霍光了；又賣掉鱒魚場，又砍倒領地裏的樹木，又到處借債。約翰的濫花實在太厲害了，討債人不斷尋上門來，夫婦二人都狼狽不堪，時常爭吵，為了改變一下這種幾乎維持不下去的生活，夫婦二人逃到了法國。
在法國，約翰還是約翰，雖然囊中羞澀，他照舊還去賭博，照舊揮霍無度，於是又負債累累。1787年夏天，戈登懷孕了，她渴望回到英國，而約翰卻不陪妻子一起回國，讓妻子隻身回到倫敦，自己仍舊在巴黎繼續浪遊。
戈登在倫敦租下一間房子，過著簡樸的生活。她這時是最需要照顧關心幫助的時候，卻孤單無助。就是在這種情況下，1788年1月22日詩人出生了，取名為喬治·戈登·拜倫。
而這時候，戈登已是一貧如洗了，靠賣掉地產的3000鎊的每年利息150鎊生活。而約翰在外的欠債幾個星期就又達到了1200鎊，這使得戈登暴跳如雷，抓起桌子上的碟子向外扔出去，摔得粉碎，抄起剪刀拿住衣服就剪，一會兒就把一件衣服撕成碎條。小拜倫在繈褓裏嚇得膽戰心驚。為了躲避債主們的糾纏不休，戈登帶著小拜倫偷偷地跑到阿伯丁租房住下，過著節儉的生活。
孩子牙牙學語，母親開始教拜倫一些簡單的單詞：“mother”（母親）、“sister”（姐姐），但就是沒有教“父親”這個詞，在拜倫早期的記憶裏，沒有“父親”這個詞，也沒有這個形象，他隻是與母親一個人在一起。