美國陸軍由於對羅西·洛曼尼茲的忠誠有所顧慮，使得他在戰時隻做個軍隊中的士兵。戰後，他則在福斯科大學教授物理。不過，洛曼尼茲最後也被傳喚到反美活動委員會中為自己的過去作證，而他也引用“第五條修正案”：“保護證人，免於為自己作證”拒絕合作。
他因此被福斯科大學開除，20世紀50年代時，他一直待在奧克拉何馬州做些勞力工作，一直到20世紀60年代中期，他才又回到學術崗位，在新墨西哥州礦冶技術學院任教。
甚至到1954年恢複到單純學術生活後，奧本海默仍然和波姆及洛曼尼茲這些人保持距離。對這些在20世紀30年代的伯克利把他當成偶像的學生，奧本海默現在則把他們視作禍源，他不想再和這些人有任何瓜葛。他們將他完全毀滅，因此，他也無情地在這個時期將這些激進的同誌全部趕出他的生活。
1964年，奧本海默在晚年收到一封這些人其中之一所寄來的信，這人就是他在伯克利的同事哈康 ·舍瓦利耶。
舍瓦利耶當時正在寫一本有關奧本海默以及第二次世界大戰時伯克利情況的書。他要求奧本海默同意發表一份他20世紀40年代初所持有的資料。
舍瓦利耶在信中寫道：
我之所以會和你聯絡是因為我們兩人從1938年至1942年間，都曾是共產黨某一單位的黨員。我希望能以恰當的方式來處理這件事，於是我決定將我所記得的事實報道出來。
因為這也牽涉到你的生活，而我以為你根本不必為此而感到羞辱，如果它不能被公開，我深覺遺憾。
奧本海默回了一封刻板的信給舍瓦利耶：“我從來未曾加入共產黨，更不是共產黨某一單位的黨員。我自己很清楚這事實，而我以為你也知道。”
舍瓦利耶因此信守諾言，未在書中提到奧本海默與共產黨員的關係。
為了躲避記者的騷擾及不斷的電話鈴聲，奧本海默全家決定前往維爾京群島的別墅去度個長假。在戰後，奧本海默漸漸地厭倦了“培洛卡立安地”這片新墨西哥州的農場，於是選擇加勒比海的海洋氣候。
在他們的身後，美國人民對於共產主義及蘇聯的恐懼仍未減少。在這種氣氛下，任何一絲風吹草動，對右派政治不合的言論或是不當的謠言，都會轉變成對個人忠誠及操守的攻擊。
盡管奧本海默在維爾京群島，仍逃不過這種恐懼所衍生的攻擊。不知怎地，聯邦調查局聽到謠言說蘇聯正在想辦法誘使奧本海默投誠，這些著急的調查局人員開始追查奧本海默的下落。
當他們確定了他的行蹤後，便算準他回國的日子，對他嚴加追問這個謠傳的真實性。他否認了這些控訴，並向聯邦調查局保證，如果真有這個情況他一定立刻通知他們。
他公開斥責聯邦調查局的愚行，一位調查員轉述道：“雖然他認為蘇聯是傻瓜，但他認為蘇聯不至於傻到接近他，更別說向他提出這種建議。”
私底下，奧本海默一定在想這種折磨不知要等到何時才會結束？當他在度假時，千方百計要摧毀他政治生涯的斯特勞斯，又忙著打擊他這位昔日好友的學術地位。斯特勞斯先前為奧本海默爭取到“高等研究院”的院長職位，現在則反過來要求普林斯頓大學開除奧本海默。
斯特勞斯在夏天對同事吹噓：“如果奧本海默自己不提辭呈，學校也會要求他走人。”又說：“高等研究院的董事會，13位董事有8位會投票要奧本海默辭職。”
但是，很顯然地，董事會的大多數成員在經過幾個月的深入評估之後並不附和斯特勞斯的做法。在1954年10月，奧本海默又再次當選院長，他也一直都留在研究院裏，直至病逝。