傑斐遜的情感生活
傑斐遜和所有的名人一樣，享受不了應有的隱私權。他的私生活總是受到政敵的攻擊，成為人們樂於爭論的話題。
1772年1月，傑斐遜與一名叫瑪莎·韋爾斯·斯克爾頓的寡婦結婚。有幸成為傑斐遜夫人的這位女士其實當年守寡時的年齡並不大，她嫁給傑斐遜時年僅22歲，但已經是一個孩子的母親了。在她與29歲的傑斐遜結婚前幾個月，這個孩子不幸夭折。瑪莎有一雙澄清明亮的眼睛，一頭濃密的金發，堪稱美女之中的佼佼者。初婚和生育絲毫不減少她成熟女性的魅力。她體態豐盈，風姿綽約，而且受過良好的教育，有著非凡的藝術天分。她與傑斐遜從相知到相愛純粹是出於兩人對音樂的高超的領悟力和偏愛。傑斐遜送給他的第一件禮物就是一架鋼琴。這成為他們持久愛情的見證。
在婚後10年的共同生活中，瑪莎給傑斐遜生了6個孩子：1個兒子，5個女兒。但是隻有兩個女兒僥幸活了下來。這些孩子大都是在英軍瘋狂蹂躪踐踏弗吉尼亞的時期降生的。後來長大成人的兩個女兒一個沿襲母親的名字，也叫瑪莎，她後來以“帕特絲”這個名字見諸於世；另一個叫瑪麗，她後來以“波莉”這個名字見諸於世。由於戰爭環境的險惡，過著流離失所的生活，傑斐遜夫人的身體狀況急轉而下。1781年，當英軍進入蒙蒂塞洛時，傑斐遜帶著家人被迫到裏土滿避難。在這裏，第二年5月瑪莎生下最後一個孩子後，身體狀態已到了全麵崩潰的邊緣。她從此再也離不開床榻，她的善良和丈夫的虔誠乞求都救不了她，死神正無情地向她逼近。4個月後，也就是1782年9月6日，傑斐遜夫人永遠地離開了人世。
帶著對愛妻的無限追思和懷念，傑斐遜開始專心致誌於培養兩個女兒。瑪莎在彌留之際，曾讓他發誓不再結婚，因為她不願讓自己的孩子有繼母。傑斐遜確實沒有再婚，任總統後，白宮沒有第一夫人，他就請求國務卿麥迪遜的夫人做他非正式的白宮女主人。他的女兒長大後，也偶爾擔當起這一角色。
傑斐遜當選為總統後不久，在首都華盛頓就到處流傳著這樣的風言風語：傑斐遜有幾個奴隸長得“非常像總統本人。”這些緋聞都和一個叫薩莉·哈米斯的女奴有關。但是，許多曆史學家仍對此事的存在持否定態度。
事實上，那個“膚色黝黑”的薩莉並不是真正意義上的黑人。她是一個有1／4黑人血統的混血兒。她的母親貝蒂·哈米斯是一個純正的非洲女奴與一位英國海軍上將的女兒。1873年，貝蒂·哈米斯帶著自己的孩子來到傑斐遜的莊園。此前，傑斐遜的嶽父、富有的費吉尼農場主約翰·韋爾斯長期占有這批奴隸，在他死後，這批奴隸被履行遺囑賜給了傑斐遜和瑪莎。如果這屬實的話，那麼貝蒂帶來的這些孩子的父親極有可能是韋爾斯本人。由此看來，薩莉·哈米斯很可能是傑斐遜夫人同父異母的妹妹。
1787年，傑斐遜帶女兒赴法國，14歲的薩莉作為小組的女仆也一同越洋跨海，來到巴黎。她雖然年齡尚小，但已顯示出一種發育成熟的女性美來。她不僅漂亮、聰明伶俐，而且善解人意。薩莉到巴黎不久，傑斐遜便為她買了新衣服，滿身珠光寶氣，煥然一新。傑斐遜為她雇了一個家庭教師，至少教了她20個月的法語。顯然，他們之間已不是一般的主仆關係了。
幾年後，傑斐遜回到蒙蒂塞洛，薩莉終日不離其左右，一副興高采烈的樣子。他對外宣稱薩莉是侍侯他飲食其居的女奴，實際上早已是他“屋裏的女人”。薩莉共計給傑斐遜生養了5個孩子。傑斐遜在遺囑中明確規定：在他死後，生活工作在蒙蒂塞洛的哈米斯家族成員一概成為自由人。他們的一個女兒據說與傑斐遜長得頗為相似，她後來成為美國第四任總統詹姆·麥迪遜的妻子。麥迪遜是在一次拜訪傑斐遜的過程中，在蒙蒂塞洛偶然遇見了這位黑美人並深深愛上她的，後來他把這個黑美人的名字改為多莉·麥迪遜。
與薩莉·哈米斯的風流韻事曾經在傑斐遜的事業蒸蒸日上的過程中成為政敵攻擊他的把柄。但是這些桃色傳聞並沒有妨礙傑斐遜作為美國曆史上偉大政治家的形象。他為自己撰寫的墓誌銘上刻有這樣幾句話：
美國《獨立宣言》起草人，
弗吉尼亞宗教自由法案的執筆人，
弗吉尼亞大學的創建者，
托馬斯·傑斐遜長眠於此。