當初，武帝的姑姑館陶公主劉嫖下嫁給堂邑侯陳午，武帝能被立為太子，繼承皇位，館陶公主在其中起了很大作用。公主把她的女兒阿嬌嫁給太子做正妃；等到武帝繼位之後，正妃就做了皇後。竇太主自恃援立武帝有功，無休止地請求賞賜、幹預國政，武帝對她很不滿。
陳皇後驕橫嫉妒，獨占君寵，卻沒有生育孩子。陳皇後花巨資想求得兒子，但是終究沒有生育，陳皇後因此也失去了武帝的寵愛。皇太後提醒武帝說：“你剛剛做上皇帝，大臣還沒有歸附，你就先興建明堂，太皇太後已經很生氣了；現在又得罪竇太主，必定會受到重責。婦人性情是容易取悅的，你應該慎之又慎！”武帝於是重又對竇太主、陳皇後母女倆以禮相待。
武帝到霸上舉行祓除儀式，返宮途中，去看望他的姐姐平陽公主，看上了平陽公主府中的歌女衛子夫。衛子夫的母親衛媼，是平陽公主家的奴婢。平陽公主就把衛子夫送入宮中，衛子夫日益受到武帝的寵幸。陳皇後得知後，惱怒萬分。武帝對陳皇後則更為惱怒。
陳皇後因為妒嫉，想加害衛子夫，讓人以巫蠱詛咒衛子夫。武帝元光五年（公元前130年），陳皇後的巫蠱活動被武帝得知，被判“大逆不道”之罪，皇後之位被廢掉，然後被處死。武帝元朔元年（公元前128年），衛子夫生子劉據，遂被立為皇後。七年後，劉據被立為太子。武帝晚年對衛子夫也漸漸疏遠，先後獲寵的有李夫人、李姬、王夫人和趙婕妤。武帝太始元年（公元前96年），相傳武帝渡過黃河北巡，見有青紫氣在天空縈繞。武帝便詢問隨行的方術士是怎麼回事。方術士回答說：“這裏必有一奇女子。”武帝便派人查訪，果然在河間發現一個趙家少女。雖然此女貌若天仙，但自生下之日起，便生有怪病：手蜷曲緊握不開。查訪的官吏當即把這一情況報告了武帝。武帝親往觀看，並命人把趙女的拳頭扒開，發現她的手中握善一個玉鉤。武帝感到十分驚異，便將她帶回宮中。從此趙女得寵，武帝專門為她建了一宮，名日“鉤弋宮”，趙女也就被稱為鉤弋夫人。一年以後，鉤弋夫人有孕，懷孕十四月生下一子，這就是劉弗陵。武帝聽說遠古時期堯的母親生堯時也是懷孕十四個月，因此稱鉤弋宮門為“堯母門”，並且把鉤弋夫人升為婕妤。
劉弗陵的降生與眾不同，同時又是武帝老年所得，再加上劉弗陵身材魁梧、麵貌俊秀、天資聰穎，和武帝非常相像，所以頗受武帝偏愛。
後來武帝知道了巫蠱之禍的實情，他開始後悔起來，適逢高寢郎田千秋也上書為太子鳴冤，武帝至此幡然醒悟。他將江充等人滿門抄斬，為太子申了冤，卻又引來了馬何羅行刺武帝未遂事件。馬何羅為侍中仆射，在宮中擔任侍衛，他與江充關係很好。武帝誅滅江充的宗族、黨羽，馬何羅兄弟懼怕受到牽連，因此預謀行刺武帝。當時侍中駙馬都尉金日磾觀察到他們的行動有些反常，於是暗中監視他們，以防有變故。馬何羅兄弟也發現了金日磾在注意自己，很長時間未敢動手。武帝後元元年（公元前88年）夏六月，武帝到林光宮避暑。這一天，金日磾身體不適，留在宮中歇息。馬何羅、馬通和小弟馬安成假稱奉旨深夜出宮，調動軍隊，並把皇帝所有使者全都殺了。次日清早，武帝在宮中尚未起床，金日磾正要上廁所，見馬何羅從宮外急匆匆進來，感到情況不妙，馬上來到武帝休息的大殿內，藏在內門裏麵。一會兒，馬何羅袖藏匕首從東廂房走來，見金日磾在此，臉色驟變，快步奔向武帝的臥室，打算衝進去。誰知慌亂之中，馬何羅一頭撞在殿內的寶瑟上，金日磾趁勢上前把他抱住，高呼：“馬何羅謀反！”武帝從床上驚起，侍衛們衝上去將馬何羅擒獲，隨後將他和他的黨羽都處死。