他雖承認自己在賺取到50萬美元後，受到金錢的吸引而變得愈加深入金融事業，卻堅持認為這隻是一時的繞路，隻是暫時收起鑽研哲學的心，並沒有放棄成為哲學家的夢想。他認為賺錢隻是一種遊戲，而遊戲是不能認真的，哲學才是嚴肅的事情，能夠讓生命和曆史變得更有意義。
索羅斯仍然希望，能夠在華爾街之外，靠著哲學成名。他曾經對自己和妻子保證，隻要時機適當，他就會放棄追求利潤，轉而去探索哲學世界中的奧秘。
工作之餘，他開始拿出自己曾經寫的哲學論文《良知的負擔》，不斷地修改完善它，期待有一天能夠出版。他把傍晚和周末的時間大多用在了書稿的寫作上。曾有人問他的兒子羅伯特，他的父親在做什麼，索羅斯神情嚴肅地回答：“他忙著打字。”
哲學的道路非常孤獨，而且也沒有什麼簡單的方法能夠計算成就。索羅斯從華爾街贏得了財富和讚美，但他在哲學上，除了在倫敦經濟學院時被波普教授稱讚過幾句鼓勵的話，其他便再也沒有人評論過他的研究，甚至沒有人知道他在研究哲學。不過他在初到美國的幾年裏，確實在進行金融操作時同時也研究哲學。
1961年12月18 日，索羅斯成了美國公民。他此時31歲，仍然在為成為一個哲學家還是投資者而猶豫不決。
1962年，索羅斯遇到事業生涯上的低潮，起因是他把一大部分的儲蓄都投資於一家汽車公司。史都登貝克汽車公司早期生產美國人開拓西部時使用的篷車，但到了60年代，這家公司遭到福特、通用和克萊斯勒三大汽車公司夾殺，陷入艱難生存的困境。但該公司仍努力推出新車型，並致力於分散投資。
索羅斯吸收這家公司的A股（權利與義務比普通股少，股價相對較低），放空普通股，期待在公司出現轉機前，普通股股價會下跌，而A股會上漲，讓他兩頭都有賺。但天不遂人願，他放空的普通股拚命上漲，讓他不斷被迫繳納融券保證金，普通股與A股的差價也越來越大，幾乎把他和哥哥的積蓄一掃而光。此時哥哥保羅正準備創業，如果資金被他就此虧空掉，創業計劃必定受阻，索羅斯在那段時間備受煎熬。最後，他終於想方設法把錢賺了回來。
雖然錢賺回來了，這次挫折經曆卻讓他深受震撼，他意識到自己並沒有想象中那麼超然，他仍然為金錢所牽累，已經深陷入其中。索羅斯開始正視金錢，他不能再把金錢操作當成遊戲，認為那是次要工作，不能再把本職工作當成是達成哲學夢想的途徑。他暫時把哲學束之高閣，開始專注於從事投資工作。
1962年底，美國將對外國投資征收重稅的消息傳來。索羅斯的事業遭受到重大打擊，因為這項稅的目的就在於使美國投資者遠離購買外國股票。但真正使他感受到挫敗的，並非征稅這個“天災”，而是“人禍”。
當時，索羅斯在公司中建立起很大筆的東京海上及火災保險公司的倉位，很多客戶向他承諾將要購買幾百萬美元的東京海上股票。但征稅的消息傳來，華爾街立刻受到衝擊。此時對索羅斯來說，客戶是否會依照承諾購買這隻股票非常重要，而公司是否能支持他買進股票也很重要。
但是麵對突然增加的風險，公司內部討論紛紛，索羅斯的頂頭上司，即國際交易部門的負責人，卻在此時扯了索羅斯後腿。他否認曾授權索羅斯進行這筆交易，拒絕承擔責任。索羅斯對此非常生氣，他因此看到了人性懦弱的一麵。“他當然知道，並且批準了這筆交易！”索羅斯回憶時說道。
幾天後，危機解除，索羅斯原本安排的交易都完成了。但是索羅斯覺得不痛快，他認為自己受到了傷害。因為在之前的時間裏，公司所有的合夥人都得到通知，說他未經授權就進行交易。索羅斯找了所有的合夥人去澄清事實，他同時也覺得疑雲不可能完全消除，因為他的解釋就等於四處在指控上司說謊。無論“利益平衡稅”怎樣，索羅斯覺得自己已經不能再留在公司了，開始尋找下一份工作。
1962年底，索羅斯離開維特海姆公司。