他坐在倫敦的咖啡館裏，半開玩笑地對自己說：“現在的你已經跌到穀底了，這種感覺不是很棒嗎？因為現在的你隻有一條路，那就是往上走。”
當然，“跌到穀底”的感覺絕不會很棒，尤其是對一個曾經充滿夢想、又那樣自負的年輕人。但他有著從父親那裏學來的生存之道，他相信自己能在黑暗之中找到光明。
為了生存下去，索羅斯開始了打零工的經曆，從一份臨時工作換到另一份臨時工作。他拿的是學生簽證，很多工作都受到限製。後來他不再管那些限製了，但肯提供給他這個異國學生的工作機會仍然很少。
他再度參加了入學考，這次雖然全部科目都通過，但成績不夠好，並不能進入倫敦經濟學院，隻能進入一間肯迪什市技術學院。9月就可以開學，他卻沒有絲毫歡喜之情，同時他必須為了上學積攢出更多的錢。
他曾經在倫敦梅菲爾區的一家餐館找到臨時工作。由於梅菲爾區是倫敦著名的上流社會活動區，不少貴族、明星們在這裏吃飯、跳舞、過夜生活，餐館的生意非常好。索羅斯在這裏每天要工作十幾個小時，非常辛苦，但老板很刻薄，給他們這些臨時工提供的食物常常是變了味的殘羹剩飯。在給他們開飯的同時，老板會喂他的貓，但喂的是新鮮的魚子醬。
很多年後，索羅斯還記得自己曾經非常嫉妒一隻貓，因為那隻貓有魚吃，他卻吃不上。
1948年夏天，索羅斯參加了當地政府倡導的土地援助計劃，去鄉下幫農民收割農產品。他當時組織摘水果的工人舉行了一次罷工，目的是讓農場能為工人們按件計酬而不是按天計酬。得益於索羅斯的努力，他和其他的工人都得到了更高的收益。但他很快被認定帶頭鬧事，被趕了出去，不過他很快又找到了其他的采摘工作。這是他在離開家後最快樂的一段時光。
9月學校開學，索羅斯已經積攢了一些錢，和兩個人合租了一間距離學校不遠的公寓同住。技術學院的課程十分平凡，索羅斯主修基本經濟學，上五門必修課。
不久，索羅斯開始對這樣的生活不滿。他認為自己年輕、聰明、不世故，念過亞裏士多德等名家的巨著，經曆過戰火的考驗，看過死亡，不是在一所三流學校裏聽老師喋喋不休的。如今的一切不是他心中為自己勾畫的命運，絕不能滿足他！他開始逃課，經常溜到倫敦經濟學院旁聽，聽著名的政治學大師兼工黨主席拉斯基暢論英國憲法傳統。他發現，倫敦經濟學院的學習氣氛和教授方式很具有啟發性，這裏才是他該來的地方。但他隻是個“偷渡”客。當索羅斯的好運用完時，他被在倫敦經濟學院兼課的一名老師看到，隨後被報到校長室。校長認為他既不來本校上課，又到其他學校去旁聽，顯然不在乎現在的學校，他被趕走了。
退學使索羅斯在學術之途上進一步下沉，淪落到社會的最底層。但他雖然受到打擊，卻並不像過去那麼苦悶，長久以來的沮喪感逐漸消退。他開始跟女孩子來往，也同匈牙利室友賀科維茲學習生存技巧。
家裏彙來的錢終於全部斷絕，索羅斯被迫不斷更換做各種低賤的工作，大部分都違反簽證的限製。他在餐廳後廚洗過碗盤，但由於工作太累，很快就發高燒。他去人體模特工廠工作，卻因為貼錯假發而遭到辭退。他做過油漆工，後來曾以此向朋友吹噓自己的油漆技術不賴。
1949年春天，索羅斯再度參加考試，好運終於降臨，這次他的分數足夠進入倫敦經濟學院，9月份，他就可以入學了。
他在離泰晤士河不遠的奇斯威克單獨租了一間頂樓的房子，同一層樓裏還住了另一位倫敦經濟學院的學生，這位學生有很多重要書籍，索羅斯可以向他借閱。
與此同時，索羅斯還在遊泳池找到了接待員和救生員的工作。這項工作不錯，遊泳池的泳客並不多，因此他可以長時間坐下來看書。這段時間他看的書相當多，有向鄰居借來的，也有從圖書館借來的，包括亞當·斯密、大衛·李嘉圖、霍布斯以及馬基雅維利的著作，了解到很多重大的理念。他覺得自己開始走上正途。
在很多年後，當索羅斯賺取到人生中第一個10億美元後，他回憶起在遊泳池邊的日子，說那是他人生裏最美好的夏天之一。