住在索斯威爾母親那裏，拜倫盡量控製自己，免得惹母親生氣。在與母親一起吃早飯的時候，他盡量不和母親說話，以免一句說錯，母親又要不高興，甚至大發雷霆。她愛生氣、易怒的習慣總是難改。為此，拜倫總是一邊看書一邊吃飯。一到下午，他就到外麵去遊蕩嬉戲，到河裏去洗澡，把從朋友那兒借來的東西，如雞蛋、盤子、鉗子……扔進水裏，然後再潛入水中把它們一一找出來，以此自娛自樂。
現在他又有了一個新的娛樂，那就是在花園裏練習手槍射擊。“砰砰”的槍聲四起，把鄰居們嚇得大氣都不敢出，他們對這個少年敢怒不敢言，都以為他瘋了。而拜倫卻漫不經心，甚至隻是微微一笑。現在他時常兜裏揣著一支手槍，仿佛要隨時與人戰鬥，那樣，手槍可以幫助他減少腳給他帶來的不便。另一個娛樂就是騎馬。拜倫常騎著馬四處飛跑，並大叫“騎士來解救人類了”。他對自己的馬一點兒也不熟，有一次，他在街上看見幾匹馬走過，沒有認出其中一匹就是自己的馬，還在那兒一個勁兒地尋思得找人把那匹馬買下來，雖然他當時不名一文。
到了晚上，他就常與朋友們一起，有時在皮戈特家，有時在裏克勞夫特家，與人聊天逗樂。他還把自己寫的詩送給自己在當地認識的名叫瑪麗的姑娘，兩人關係很親密。那姑娘把自己一綹金色頭發送給拜倫，拜倫竟把它拿去給一位寡婦朱麗亞看，炫耀自己所謂的愛情或者魅力。倒是那寡婦隻是稍稍笑了笑，覺得拜倫此舉是十足的幼稚。可這一切並不是他真正想要做的，他是以此來忘掉自己的煩憂。
索斯威爾的一位老太太有一塊大瑪瑙，是在一座古墳中發現的。有一回，她告訴拜倫說，這塊瑪瑙是個護身符，它的魔力能使他的主人不為情所動。拜倫聽到這兒，便大叫一聲：“把它給我吧，這正是我想要的。”他是如此急切，以致把老太太嚇了一大跳，最後隻好給了他。
他這些日子以來，就是為情所苦而不能不為情所動，他天生是一個多愁善感的人。
在這些遊玩的日子裏，拜倫毫不放鬆他的詩集出版的事。他把過去寫的詩收集起來，進行認真修改，包括他在哈羅公學寫給那一幫朋友德拉瓦、克萊爾、道賽特的詩，他都把它們找出來了。現在，他早年就學會的拉丁文派上了用場，他翻譯的羅馬大詩人維吉爾和凱特勒斯的一些詩也收集起來，為被他救過的愛萊斯敦送給他的玉雕而寫的詩，以及他為自己眷戀的紐斯台德莊園寫的挽歌，還有他寫的最初的愛情詩，這些詩都收集起來了，準備交給出版商出版。他為自己第一本詩集的題名煞費苦心，開始他想讓自己的名字為眾人所傳誦，因此題名為“喬治·戈登·拜倫——愛情詩集”。他的朋友伊麗莎白這時顯得比詩人自己還高興。她說他的詩集一定會成功的，他會因此而一舉成名。拜倫有些陶醉，便一遍又一遍地重讀自己的那些詩，讀著讀著竟也不相信那就是自己的作品，有一次別人問他正在看什麼，他說：“繆斯的詩。”而實際上是他那收集起來還沒有出版的詩。
拜倫迫不及待地把他收集的詩交給紐阿克的一位印刷商裏基，請他付印。在付印時他又覺得書名不妥，因為拜倫那時還是個無名小卒，因此，他把書名改成了《即興詩集》。詩剛印好兩本，他就滿懷著興奮，希望把它送到鼓勵他認真作詩的伊麗莎白·皮戈特和他的朋友貝切牧師那兒。
伊麗莎白拿到那散發著墨香的詩集，當然興奮不已，但貝切牧師卻提出了疑義。他讀到那首《獻給瑪麗》的詩，震驚無比，因為提到了真人而且太過直露，堅決要求拜倫不能出版這本詩集。這無異於給拜倫潑了一盆冷水，他感到無比傷心。但他卻忍住痛苦，毅然把印好的書全部燒掉。隻有兩本書例外，一本是已經寄給到愛丁堡大學求學的約翰·皮戈特的那一本，一本是貝切牧師自己收藏著的那本。拜倫第一本詩集的第一版我們今天能見的，就隻有這珍貴的兩本。
拜倫並沒有就此罷休，他那不屈的鬥誌又一次表現了出來。他開始馬不停蹄地工作，爭分奪秒地與印刷商重新開始了詩集的出版工作。他把那首倒黴的《獻給瑪麗》刪去了，在短短幾個星期內，又編出一本詩集，這速度是相當驚人的。有時拜倫就在印刷廠裏與工人們一道邊啃饅頭邊工作。這次，詩集改名為《雜詩》，於1807年1月出版。看著這些散發出油墨香味的新詩集，拜倫不禁長長鬆了一口氣。他不無自信地說：“這本詩集不但從頭至尾正確無誤，而且奇跡般的純潔無瑕。”
新詩集出來了，現在拜倫又趕著把詩集分送給劍橋大學的老朋友和在索斯威爾的新朋友。他劍橋的同學收到詩集，都不禁對身邊這個跛足瘋少年有如此詩才而驚異，並發出了由衷的讚歎。他們即刻給拜倫去信表示了他們的欽佩讚賞之情，拜倫對此心中頗有點得意。在索斯威爾，拜倫這本“純潔無瑕”的《雜詩》卻帶來了一場風波。因為拜倫在一首詩中又提到了一位叫做朱麗葉的女孩，而他的朋友裏克勞夫特家也有個女孩子叫做朱麗葉；而且還有一首《獻給萊斯比亞》的諷刺詩，好像也是寫給朱麗葉的，而且拜倫在這首詩裏表現出很是高傲、很是蔑視的意向。一時間，索斯威爾小鎮議論紛紛，互相傳言，弄得沸沸揚揚。
這引起裏克勞夫特一家對這本詩集的極力反對，朱麗葉的哥哥裏克勞夫特上尉嚴正要求拜倫對這些詩做出解釋，否則要和拜倫決鬥。這使拜倫煩惱異常，他隻好和貝切牧師商議，寫了一封措辭謹慎的信，勉強做些解釋，幾乎有些低三下四的語言，說詩並不是實指，解釋幹幹巴巴、牽強無比。而裏克勞夫特上尉仍不肯善罷甘休，這種糾纏使拜倫傷心透頂，出詩集的喜悅蕩然無存，對索斯威爾也異常討厭起來。
他對伊麗莎白·皮戈特說：“你們這個該死的誹謗之地，真是可鄙可憎。即使這兒所有的人都被送進冥河之淵，我也毫不在意，隻要這裏麵不包括你和貝切牧師。至於冥河之淵，我寧可親自去那兒，也不願讓自己的鞋子染上索斯威爾的汙塵。”他對索斯威爾憤恨異常，甚至寧願到冥河也不願再留在索斯威爾，他急於要離開這個該死的是非之地。隻是稍微有點不舍一直給他真正關懷的伊麗莎白，他稱她為“親愛的白斯皇後”。
臨行前，他去向伊麗莎白辭行。她很傷心，但告訴他應該迎接挑戰，留下來把詩集重新整理，增加印數，使詩集為更多人所讀。
拜倫雖然歸心似箭，但他接受了這個勸告，又悉心投入了詩集的再版工作中。這回他把書名改成了《閑散的時光》，並且署名為“喬治·戈登·小拜倫勳爵”，親自為其作序說：
這些詩是一位19歲的青年在閑暇中創作的。因為這些詩是一個幼稚的頭腦所進行的內省，所以人們也許對它不屑一顧。從我的處境和今後的目標來看，我根本不可能再一次來打擾公眾。約翰遜博士曾對我的一位貴族親戚的詩友發表意見說：當一位達官貴人以一個作家的身份出現時，他當然可以巧妙地運用自己的特權。那些口頭評論家對這話無動於衷，那些雜誌評論家，更是把它當作耳邊風。不過，即使情況並非如此，我也不願意利用這一特權。
他雖如此說，但從署名上我們卻可以看出他實是有些利用了他的特權。到1807年6月，拜倫這本詩集終於出版了。他心花怒放，決定馬上離開索斯威爾，立即前往倫敦。
他的母親也毫無挽留他的意思。她說：“拜倫住在我這兒幾個月了，還隨身帶著男仆，他一年要花費500鎊，而我卻沒有收到他一文錢。因此，我沒法用我這微薄的收入來供養他和他的仆人們。”拜倫也沒什麼留戀，匆匆地動身了。