由於自己的每一項規劃幾乎都得不到國會的支持，亞當斯不免顯得心灰意冷。1827年他寫下了這樣一則日記：“我沒法知道我退職時是怎樣的情景。我預感到不會有什麼美好的前景。但是總不至於比現在這樣不停地動蕩和焦思苦慮更為糟糕吧！我的負擔一天比一天更加沉重。”
約翰·昆西·亞當斯在1828年競選連任總統，但慘敗於安德魯·傑克遜將軍。當得知失敗的消息後，在最初4個月的時間裏，他的腦際不斷地回蕩著他曾在法國凡爾賽宮第一次聽到的一首古老歌曲的疊句：
哦，裏夏爾，哦，我的國王，
世界已經拋棄了你。
亞當斯作為白宮主人的政治生涯宣告結束，可是他的曆時長久的事業並沒有中斷。
愛好裸體遊泳的白宮主人
從表麵上來看，約翰·昆西·亞當斯是一個不願意屈從於公眾輿論的清教徒式的政治家和學者，但是透過他一生所寫的卷帙浩繁的日記則不難發現，亞當斯是一個感情豐富卻又隱而不露的人。他在日記中作過一番自我評價：“我是一個沉默寡言、態度冷漠、嚴酷得令人生畏的人。我的政敵說我是一個陰鬱的厭世者，我的私敵說我是個不通世故的野人。
雖然我深知我性格中的缺點所在，但我不願意勉強地改正它們。”
亞當斯在擔任總統前，沒有正式加入任何教會，在成為總統後，才第一次在馬薩諸塞州昆西的公理會唯一神教堂領受了聖餐禮。從此，他成為虔誠的基督教徒。他經常去教堂，每逢星期日常常作兩次禮拜。
人們經常會早晨在唯一神教堂的禮拜儀式上見到總統，下午在長老會教堂看到同一個身影。每天早晨起床後，亞當斯總是要先讀幾章《聖經》。他精通拉丁語、法語和德語，一生酷愛讀書，曾經表示：“要是我手上沒有一本西塞羅或塔西佗的著作，我就會像失去了胳膊或者大腿一樣地痛苦。”
亞當斯身高5英尺7英寸，屬中等身材，體重約為175磅。他相信最有效的健身之道就在於不斷地從事體育鍛煉。他喜歡騎馬、散步和打台球。而他最大的個人嗜好就是裸身在波托馬克河遊泳了，這被他的妻子路易莎認為是患了“過度嗜水症”。
天氣暖和的時候，亞當斯常常一大早就在波托馬克河中裸體暢遊。
作為一名遊泳好手，他58歲時還能在1小時內遊過1英裏寬的河麵。
有一次，總統一絲不掛、瘦骨嶙峋的身體還浸泡在河水中。冷不防，從河邊的灌木叢中衝出一位年輕而又漂亮的女記者，把亞當斯總統嚇得不輕。這位叫羅妮婭的記者原打算對亞當斯總統作一次個人專訪，可是被總統老實不客氣地予以回絕了。於是她出於記者的先天本能，了解了總統的個人嗜好，然後瞅準機會，在一天清晨尾隨亞當斯來到波托馬克河邊。羅妮婭藏了起來，一俟總統赤條條地跳入河中，便很快從隱蔽處跑過來，坐到他的衣服上，總統的狼狽相就可想而知了。
萬般無奈之下，亞當斯許諾以後一定安排一次機會接受專訪，可是大膽、勇敢的年輕女記者卻不依不饒。她宣稱如不馬上進行采訪，她絕不離開比地。於是，赤條條的總統隻得“隱蔽”在水中回答了羅妮婭的全部問題。
亞當斯卸任之後，一度極為消沉。雖然他無意參加任何競選活動。
但1830年馬薩諸塞州他家鄉選區的人民卻選他為國會眾議員。他的心情迅速好轉，如他自己所說：“從來沒有哪一次選舉或任命給過我這麼大的快樂。”
亞當斯是唯一在卸任後擔任國會眾議員的前總統。在長達17年的議員生涯中，這位政界元老越來越多地贏得了人們的尊敬。這時期圍繞奴隸製問題，南北矛盾日益激烈，大有分裂聯邦之勢。亞當斯一方麵表示出“對奴隸製的極端痛恨”，反對美國吞並得克薩斯和向墨西哥宣戰；另一方麵，他又苦心孤詣地設法緩和南北雙方的對立情緒，維護合眾國的團結。
1848年2月21日，80高齡的亞當斯在眾議院側廳他的辦公室突患中風而病倒了，昏迷了幾天後，於2月25日去世。來自密蘇裏州的國會參議員托馬斯·哈特·本頓在亞當斯的葬禮上所致的悼詞有一句是這樣說的：“他終於以身殉職，豈不是死得其所嗎？”