他的這一又近似瘋狂的舉動，可把他母親嚇壞了，她失望又驚恐地說：“這孩子將把我逼死，把我逼瘋，他落到了高利貸者手裏了嗎？”她擔心他落入壞人手中，擔心他有了錢又要任意胡來。
果然，口袋裏有了錢的拜倫，又隨心所欲起來，他現在有了更大膽的行動。他覺得學校那沉悶的庸俗氣氛要窒息人，便悄悄地離開了劍橋，跑到倫敦的皮卡迪裏16號住下來，而且有一女子與自己住在一起。那是他偶然到街上散步，發現衣衫襤褸的她一臉愁苦，在街上流浪，也許是出於同情，他上去與她攀談，然後帶她回到自己的家。
而且，拜倫在這兒還認識了另兩個男子，並常與他們在一起消磨時光，一個是傑克遜，一個是安格魯，他們二人都精通防身之術。傑克遜是拳師，安格魯是劍師。傑克遜是英格蘭拳擊冠軍，他手指上壓著80鎊的重量照樣能簽名，很是了不起，在體育界，他的話幾乎成了法律，人們都叫他“紳士傑克遜”。拜倫對他很敬慕，以自己能結交上這樣的朋友而自豪，他這樣稱呼傑克遜：“我的老朋友、領路人和主人，拳擊教授約翰·傑克遜先生。”傑克遜和安格魯讓拜倫進行激烈的拳擊訓練，拜倫也自覺刻苦地訓練，每天他給自己規定要打1000次沙包，一次也不能少，訓練生活使拜倫一下變瘦了。
一天，他在街上邊走邊琢磨傑克遜教的拳擊動作，邊想邊前後左右地出拳，虎虎生風，沒想到擊中了一個人，那人拔腿就跑。“當”的一聲，旁邊另一位女士的錢包掉在了地上，原來這人是個小偷，正在偷這個女子的錢包。女士對拜倫見義勇為的英雄舉動十分感謝，要請他吃飯，拜倫自己也覺太巧，啞然失笑。
當他回到劍橋的時候，拜倫把那個年輕女子和傑克遜、安格魯也帶到了劍橋。邀請他們三人出入在大庭廣眾中，一起吃飯。他還專門派人到聖·約翰學院去取上好的啤酒，因為那個學院的啤酒最為有名。這一天，安格魯要離開劍橋，拜倫拖著一瘸一拐的腿，端著酒杯，在驛車邊為朋友斟滿一杯酒，兩人在那兒將最後一杯離別酒一幹而盡。
拜倫這一係列舉動在學校鬧得沸沸揚揚。一次，一名老師把拜倫叫了去，對他說：“你如此舉動，真是給學校丟臉。”拜倫輕蔑地哼了一聲，回答說拳師傑克遜教授的風度比特裏尼蒂學院的那些隻知喝酒逗樂的傻家夥不知要好多少倍。
在大學裏，似乎沒有幾個人在研究作家，不管古代作家還是現代作家。至於說到詩神繆斯，則幾乎完全被忽視了。拜倫隻認為他們是一群俗物，沒把他們放在眼裏。
1806年暑假來臨，拜倫回到索斯威爾他母親住的地方。
這次，他母親對他在校生活特別是借高利貸的事大為氣憤。她那暴虐的脾氣再次迸發了出來，竟當著拜倫許多朋友的麵，把鐵鏟、鐵鉗一股腦兒向拜倫頭上扔去，幸虧他躲閃及時，否則後果不堪設想。在場的朋友一個個驚得目瞪口呆，倒抽了一口涼氣，而拜倫卻不慌不忙，淡淡地說了一句：“習慣了，她（母親）倒使我練成了一身躲閃功的絕技。”
因為此事，拜倫憤然離開母親那兒，到朋友家去住了幾天，然後到了倫敦，不再去見他的母親。而母親又趕到了倫敦，要他回索斯威爾。這次拜倫是鐵了心，他與母親針鋒相對，寸步不讓，兩人唇槍舌劍，吵了幾個小時，拜倫一點兒沒有軟弱怯陣的意思。最後，母親眼看無望了，在昏亂中退卻了，她的眼中湧動著渾濁的淚水。看她又形隻影單，孤零零地拖著老邁之身，傷心地一人回索斯威爾去了，怎能不讓人感歎？而拜倫卻以一個勝利者的姿態發表總結：“最後，她在昏亂中退卻了，留下了炮具、野戰部隊的裝備、輜重和一些俘虜。”
拜倫一個人留在了倫敦，便去約他的一個朋友約翰·皮戈特一起去作一次旅行。皮戈特是一個性格開朗、很有教養的小夥子，在醫學院裏求學。他很高興地接受了建議。而拜倫的旅行裝備倒是讓皮戈特很感興趣：一輛輕便馬車，車門上裝飾著拜倫家族的徵章，還印著一句格言“相信拜倫”。車後是兩匹馬，由一個馬夫駕著，車內是拜倫和皮戈特，還帶著他的男仆弗蘭克和兩隻狗——他給它們取的名字是波茲溫和納爾遜。他這個並不富裕的向高利貸者借錢的人竟帶著如此一個隊伍出去旅遊，真乃荒唐。他們到蘇朋克斯海岸邊住了幾星期，然後到哈羅作了一次短途旅行。遊玩是快樂的，或登山遠眺，或海灘嬉戲，與大自然做著物我兩忘的交流，是多麼愜意的事呀！
可兩個人很快就垂頭喪氣了，原因很簡單，拜倫又把向高利貸者借的錢花光了，現在回倫敦也不行了，因為身無分文，回去了他無法生活，隻有硬著頭皮，又灰溜溜地回到索斯威爾他母親住的地方。盡管他們剛剛吵過一架不歡而散，而且拜倫表示堅決不回去了，可現在無路可走，隻好回到母親身邊。
母親看見兒子帶著仆人、朋友和一群馬、一窩狗回來，不勝驚惶。她生怕兒子再次離去，不敢多說什麼，不知該怎樣安置他們才好。
拜倫將身無一文的情況如實告訴了母親，在索斯威爾住了下來。在這兒，他結識了皮戈特的姐姐伊麗莎白·皮戈特。她是一位活潑可愛充滿浪漫情懷的女孩。她覺得拜倫有一種高貴不凡的氣質，她喜歡和拜倫在一起。
有一天，伊麗莎白讀了幾首詩給拜倫聽。聽後，拜倫說：“我也寫過幾首詩。”“真的？”伊麗莎白的聲音裏充滿了驚喜。
拜倫拿出一些以前寫的詩來，伊麗莎白睜大驚奇的眼睛，認認真真地看起來，邊看邊小聲地吟誦起來，充滿了深情。伊麗莎白看完後，欣喜地喊道：“太棒了，你是位詩人。”她的讚美是由衷的，拜倫卻以為那僅是恭維而已。伊麗莎白則動情地勸他正式好好地寫詩，別隻是為了玩玩。
這個溫柔美麗的姑娘毫無保留的讚美使拜倫心中燃起了美好的希望。繆斯呀，請賜給我靈感，詩人，那是多麼神聖呀！做個詩人，寫出美妙的、令人心馳神往的詩篇，這一願望一下變得這麼強烈。
拜倫讀了繆斯的詩，立刻仿效其詩節，唱出了“我無憂無慮的童年在這兒迷失了方向”這樣充滿淡淡憂傷的詩句，簡直使伊麗莎白著了迷，她幾乎有些忘情地說：“你會成功的，拜倫，寫吧，我為你抄寫，並且為出版商準備好手稿。”伊麗莎白如此熱情的鼓勵、如此熱烈的崇拜和讚揚，使拜倫信心百倍。詩，那就是生活，現在，他的目標就是詩了。
拜倫認真地寫他的詩了，每時每刻、每日每夜，他琢磨的就是他的詩。一到晚上，他就坐下來工作，在那夜深人靜的時候，讓思想自由地飛翔馳騁，那些事、那些人、那些情、那些景，憧憬、希望、失落和痛苦、不安、恥辱，都源源不斷地湧來，成了他的詩篇。他每天都很晚才睡，有時甚至天已拂曉，才躺下去。他起床也很晚，有時幾乎睡到下午才起床。這也難怪，寫作的人都喜歡晚上工作，那時沒有幹擾，萬籟俱寂，會使人思如泉湧，靈感突現。
一天，拜倫剛寫完一首詩，看著窗外漆黑的夜幕，伸伸懶腰，感到特別口渴。這時母親突然推門進來了，手裏端著一杯熱熱的咖啡。她放下杯子說：“孩子，我看你這好幾天來都很晚很晚才睡，我很為你的身體擔心。”拜倫感到心中有某種衝動或者可以說是感動。“母親，”他低低叫了一聲，隱隱地喉頭哽咽，不知說什麼好。
白天起床後，拜倫就到伊麗莎白那兒，把晚上寫的詩交給她看。她總是深情地小聲吟誦，然後大大地誇獎一番，工工整整地把它抄下來。拜倫特別害怕這時有新的客人到伊麗莎白家來，問他為什麼怕，他說不知道，就是害怕而已。
有一次，有客人到了伊麗莎白家，聽說伊麗莎白正和一個少年在一起，便要進來看看。拜倫如臨大敵，情急之中竟從伊麗莎白家的一個窗子跳出逃走了，令人哭笑不得。他還是對自己的跛腳耿耿於懷，在那精神的世界裏，他是一個英雄，但一看到自己肉體的缺陷，他又自卑與羞辱萬分。
一次，他與自己的一位新結交的朋友約翰·貝切牧師交談，探討命運和宇宙的問題。貝切盡他所有的努力想使拜倫相信，拜倫所抱怨的上帝，還是賦予他各種各樣恩惠的——貴族的頭銜、智慧、財富（成年即可得），而且還賦予了他一個比別人都聰明靈活的腦袋。而拜倫用一隻手指指自己的頭：“要是這玩意使我比別人都優越，那麼，那個玩意”——他指指自己的腳——“使我比別人不知低賤多少呢。”是的，跛腳，這幾乎是他致命的傷痛，每時每刻都在折磨著他，幾乎成了他一生最大的不幸。