但他在國內無疑仍擁有很高的聲望，在1789年的首次總統選舉中以得票居次而出任副總統。在他總共8年的副總統任職期間，亞當斯始終堅定不移地站在華盛頓總統一邊，尤其是當民主共和黨人由於參議院批準和英國簽訂的傑伊條約而對華盛頓大肆攻擊時，更是如此。8年後，亞當斯作為華盛頓的法定繼承人被聯邦黨人推為總統候選人，經過與傑斐遜的一番艱苦角逐，終於當選為美國第二任總統。
在亞當斯執政期間，國內的大政方針已由華盛頓製定，他隻需蕭規曹隨即可。他所麵臨的主要難題來自與法國的關係。法國曾在美國獨立戰爭中支持和援助過美國，雙方訂有同盟條約。1789年法國大革命爆發後，英國和歐洲大陸的封建君主國聯合起來加以幹涉，法國要求美國依然信守過去的條約，對英國作戰。但美國政府在權衡利弊後，以中立政策作出了回應。這令法國政府十分惱火。它揚言要捕獲在大西洋從事中立貿易的美國商船，並拒不承認美國派往法國的使節。
1797年，繼駐法大使平克尼後，美國又派出了兩位代表去巴黎謀求法國對美國新政府的承認。不為美國所欣賞的法國外長塔列朗派了3位中間人與美代表談判承認條件：要求亞當斯總統在國會收回對法國的抨擊，美國向法國提供價值1，000萬美元的貸款，並贈送塔列朗及其隨員25萬美元的賄賂。平克尼等人向亞當斯總統寫信報告了詳情，並以“X、Y、Z”3個英文大寫字母來稱呼3名中間人。亞當斯宣稱不再派公使去法國，並提請國會修改中立政策，以武裝美國的商船。他的提議遭到民主共和黨的反對，於是在1798年4月初亞當斯便把關於“X、Y、Z”事件的文件公諸於眾，引起輿論大嘩。人們高呼“寧付國防費千百萬，不給一分納貢錢”的口號，表示抗議。美法關係由此變得緊張起來，雙方的海上武裝力量在大西洋的部分海域發生了武裝衝突，即所謂不宣而戰的“準戰爭”。
當時，亞當斯懇請已退職的華盛頓出任新建立的美國軍隊總司令，敦促通過成立海軍部的法案。海軍初建時隻有3艘戰艦，而一年後便發展成為一支擁有49條戰船的艦隊了。當時，處在聯邦黨人控製下的國會，頗受恐懼戰爭心理的影響，又通過了《外僑管製法》和《懲治叛亂法》，授權政府逮捕任何威脅或反對聯邦政府的外僑或美國公民。亞當斯政府憑借這些法令封閉了反對派的報館，鉗製了輿論，盡管這些做法明顯侵犯了人權。
在美法“準戰爭”期間，亞當斯政府力圖保持孤立姿態。當時，英國趁機拉攏美國，皮特政府為了達到這一目的，放鬆了貿易封鎖，致使美國對外貿易額迅速上升，獲利甚巨。許多聯邦黨人包括漢密爾頓主張與英國結盟，擴大對法戰爭。但是，亞當斯無意以一個美英同盟代替美法同盟，他決定謀求和平解決與法國的衝突的辦法。法國方麵也不願同美國長久處於準戰爭狀態。1799年底上台的拿破侖，鑒於當時不利於法國的國際態勢，表示了與美國和解的意向。1800年9月，法美在巴黎郊外的莫特楓丹簽訂了和平條約，從而結束了“準戰爭”。同時和約宣布廢除1778年法美盟約，重申了海上自由的原則。美法戰爭危機的和平解決，是美國孤立主義外交的一次成功運用。它最終擺脫了同法國結盟的牽累。更重要的是，在危機中美國並沒有陷入同另一個大國的結盟。
然而，亞當斯的外交政策卻引起了聯邦黨內部的嚴重分裂。華盛頓因病去世後，漢密爾頓擔任了總司令職務，他一心想在未來的戰爭中建立輝煌的功績，強烈反對亞當斯謀求和平解決美法爭端的做法。在1800年的大選中，漢密爾頓等聯邦黨領袖竭力阻撓亞當斯競選連任。
所以，亞當斯的失敗自是意料中的事。民主共和黨的傑斐遜和他的競選夥伴艾倫·伯爾均以73票對65票獲得了競選的勝利。
執政的最後幾個月，亞當斯是在美國的新首都華盛頓特區辦公的。
他和夫人搬進了當時尚未竣工的行政大廈，等待著眾議院決定是由傑斐遜還是伯爾接任下屆總統。在他即將離任的前一天晚上，亞當斯抓緊時間簽署委任狀，最後任命了一批聯邦法院的法官。第二天一早就離開華盛頓啟程返回馬薩諸塞州他的家園。他沒有參加新總統傑斐遜的就職典禮。究竟是他心懷不滿、故意不參加，還是他根本沒有受到邀請，曆史學家至今尚無定論。