肯尼迪對他們的鼓勵置若罔聞，他確信參謀長聯席會議參謀長讓他在豬灣事件中失利，對於老撾問題也沒提出好的建議。除此之外，他不相信美國具備“決定性的軍事優勢”。他仍然不承認他對於導彈差距的錯誤估計。他認為美國和蘇聯在戰略性武器方麵大概勢力相當。參謀長聯席會議的參謀長也不對：蘇聯甚至沒有核導彈，也沒有可以襲擊美國、裝備有核武器的轟炸機。不管怎樣，肯尼迪對他們的備忘錄視若無物。
總統和他身邊的人，像索倫森和塞林格，都希望維也納峰會像肯尼迪第一次和尼克鬆的電視辯論那樣成功。他的智囊團聲明肯尼迪和赫魯曉夫比起來要更溫和、更有魅力，他明顯會在峰會上獲勝。
一個困擾肯尼迪的疑慮就是赫魯曉夫可能會誤解他在老撾問題上妥協的意願，曲解他拒絕在豬灣投入美國兵力這一舉動，如果這樣的話，赫魯曉夫會把柏林看作是迫使肯尼迪讓步的另一個地方。他對阿瑟·克羅克說：“赫魯曉夫不會對老撾和古巴問題有所誤解吧？”
6月3日早晨，就在赫魯曉夫到達美國大使館進行第一輪會談前不久，肯尼迪派人請來馬克斯·雅克布森。他說：“會談可能要進行幾個小時，我可受不了我背部的並發症。”
“感覺良好”的醫生已經準備好注射劑，“你不會把那個作為借口的。”肯尼迪最近讀了芭芭拉·塔奇曼的《八月炮火》，這本書細致地重構了第一次世界大戰第一個月的境況。肯尼迪深深地被這本書打動了，塔奇曼夫人這部書的主題是說歐洲各國領導人因為相互之間的誤解無意中卷入了這場戰爭。直到戰爭結束，也沒有人能說出這場戰爭為了什麼，這場戰爭為什麼一定要進行。
峰會在大使館的一間不大的房間伴著音樂開始了，美國總統和超級大國蘇聯主席赫魯曉夫都由翻譯陪同湧進這間會議室，中間隔著一張玻璃咖啡桌，相隔隻有幾英寸。開始寒暄過後，肯尼迪想說的第一件事情是他們共同擔負責任，防止核戰爭的爆發。
赫魯曉夫卻先說別的事情。他很清楚蘇聯要窮得多，很容易受到美國導彈和轟炸機的攻擊。由於根深蒂固的自卑心理，赫魯曉夫性情多變，極其希望被認真對待。大部分時候都很難揣測他的真實感受，也不知道他對誰發脾氣——他的顧問？共產黨領導層？他自己？美國總統？他強有力地對肯尼迪說：“西方國家和美國必須承認一個事實，共產主義是存在的，而且已經獲得發展權。”
他堅信共產主義最終戰勝資本主義。自從1917年大革命以來，美國一直竭力壓製共產主義。但是“一個思想一旦誕生，它就不會被束縛，也不會被焚毀”。
赫魯曉夫一旦打開話匣子，就激昂地說個沒完。個人恩怨和政治願望一起讓這個人熱血澎湃。他對肯尼迪長篇大論地說共產主義的魅力，資本主義的邪惡本質，西方各國試圖通過武力或武力威脅來扼殺共產主義其實是愚蠢的。他還說：“信仰不是通過戰爭強加的。”這仿佛是他自己的一大發現似的。
在傾聽一段共產主義激昂讚譽之後，肯尼迪又一次強調了錯誤判斷的風險性，他說：“我最大的願望是保障和平。”
赫魯曉夫輕蔑地回應說：“錯誤判斷是一個非常含糊的字眼，在我看來，美國就是希望蘇聯像小學生一樣把手放在桌上坐著……但是蘇聯會維護自己的利益，哪怕美國認為其中一些行為是因錯誤判斷造成的。”
會談午餐休會時，肯尼迪問列維林·湯姆普森：“總是這樣子的嗎？”
“總統先生，這是意料之中的。”湯姆普森經常傾聽赫魯曉夫長篇大論——往往要在午夜。區別在於赫魯曉夫會對任何一個大使這樣滔滔不絕。但是指責世界上最富有最強大的總統是無禮愚蠢之舉。最好是大度地示弱，可是赫魯曉夫卻肆無忌憚。
肯尼迪盡力對此置之不理，午餐時表現得十分親切熱情。赫魯曉夫向總統敬酒，祝願他健康。他說他很羨慕總統的年輕有為，精力充沛。但是他禁不住大肆誇耀加加林的航行，並且對肯尼迪說：“他在宇宙飛船軌道運行時大聲歌唱。”
下午的會談中，赫魯曉夫繼續指出美國是全世界人民和平希望的最大阻礙。看看伊朗，“理所當然要推翻沙阿政權，但是美國支持沙阿致使伊朗人民對美國產生敵對情緒”。然後是古巴，“總統決定支持古巴的登陸計劃其實增強了古巴革命力量，穩固了卡斯特羅的地位。卡斯特羅並不是共產主義者，但是美國政策促使他成為一個共產主義者”。
肯尼迪說赫魯曉夫關於沙阿的評論是正確的。伊朗必須變革，否則就會有革命爆發。至於古巴，肯尼迪說：“那是一個錯誤。你會容忍一個在軍事基礎上親美的政權與你相鄰嗎？比如波蘭。”
赫魯曉夫說：“當然不會。”
“對，那就是我們對古巴的態度。”
然而，赫魯曉夫還剩有大量軍火。美國，偉大的民主鬥士，正在全球支持肮髒的反革命政權，肯尼迪不僅知道這些，而且在他當議員時期他曾公開指責過。當赫魯曉夫指責他時，他窘迫地坐著，說話結結巴巴，然後他抗議道：“我讚成變革。”赫魯曉夫麵露笑容。
當第二輪讓人難受的會談接近尾聲的時候，肯尼迪疲憊不堪，感到灰心喪氣，那天晚上他咆哮著：“他把我看成一個小孩子，看成一個孩子。”他來維也納為了讓赫魯曉夫對他認真些，但是失敗了。
第二天早上，肯尼迪驅車前往蘇聯大使館參加第二天的會談。成千上萬的奧地利人歡呼著迎接他，那似乎是一個好的開端，但是赫魯曉夫還是和以前一樣冷酷無情。他們都同意和平解決老撾爭端。但是當肯尼迪把討論轉向禁止核武器試驗上來的時候，赫魯曉夫拒不讓步。
他說禁止核試驗並不會減少核武器的數量。肯尼迪回答說：“我同意這一點，這也不能削減核武器的生產。但是禁止核試驗可以減少核武器在其他國家研發的可能性。”
赫魯曉夫對此置之不理，蘇聯對於核試驗不但沒有說“不”，幾年來蘇聯人還繼續提出不合理的要求：一個由重組的聯合國監督的“全麵徹底裁軍條約”。赫魯曉夫希望聯合國憲章這樣寫：條約要有三個主席——從美國和蘇聯各產生一名主席，還要一位有兩個超級大國都接受的中立主席。隻有到那時才可以禁止核試驗。
然而赫魯曉夫第二天真正想談的不是禁止核試驗問題，而是柏林問題——“那如刺鯁喉。”他惱怒的說。
柏林問題簡直是一個恥辱，向文明世界證明共產主義在政治和經濟上的失敗。每天成百上千的東德人憑借技術技能或職業資質在東柏林登上電車，公共汽車或是地鐵去西柏林，然後待在那裏。這事不僅波及東德，乃至整個東歐。如果脆弱的東德經濟崩潰的話，另外一些可恨的支持蘇聯的國家也會崩潰。
赫魯曉夫說：“蘇聯會單方麵和東德簽署一個和平條約。屆時所有通往柏林的通道都將關閉。”
肯尼迪告訴他：“我們在柏林，並不因為得到了什麼人的默許，我們是打進去的，但是我們傷亡人數沒有你們那麼多。”然而，除那以外，他還說：“這已經牽涉到美國國家安全問題，如果我們接受蘇聯的提議，我們的承諾會被視為一紙空文。西歐對於我們國家安全至關重要，如果我們放棄西柏林，我們也就放棄了歐洲。”他還用自己的話說：“我不會讓總統辦公室承擔孤立我的祖國的責任。”
赫魯曉夫毫不動搖地回應道：“我必須斷然地告訴你世界上沒有任何力量能夠阻止蘇聯同東德簽訂和平條約。”