但景帝對栗姬母子仍十分寵愛，當時薄皇後因為沒有兒子而被廢，皇後的位置空缺，首選還是栗姬。景帝打算試探一下栗姬，一天他來到栗姬住處，假裝隨意地跟栗姬說道：“我死了後，後宮諸姬和我的那些兒子，你要好好地待他們！”不料栗姬對皇帝寵愛新歡非常不滿，聽了後容顏忽變，竟然轉過臉去，半晌不發一言。景帝大怒，起身便走。這使景帝想起漢初的宮廷悲劇：高祖劉邦喜愛戚姬，曾想廢太子劉盈而立戚姬的兒子如意為太子，因為諸大臣反對沒有成功。呂後因此對戚姬恨之入骨。劉邦一死便鴆殺趙王如意，又將戚姬手足斷去，割耳挖眼，喂了啞藥，丟在廁所中，號為“人彘”。景帝見到栗姬如此情景，擔心日後宮廷之中會發生類似的慘劇，當下十分厭惡，也死了立栗姬為皇後這條心。再加上長公主成天誇獎膠東王劉徹，說他天資聰慧，又有夢日入懷之吉兆，若立為太子，必能纘承大統，而劉徹也確實很讓景帝喜愛。景帝不禁開始考慮起皇太子的廢立問題了。
景帝雖然還喜歡栗姬，但打消了封她為皇後的打算，而且因為栗姬的關係，對太子劉榮也大不如從前。王美人看出了其中的蹊蹺，為了增加景帝對栗姬母子的疑心和反感，她私下找來宮中執掌禮儀的大行官，叫她去勸說景帝立栗姬為皇後。大行官不明就裏，就冒冒然向景帝奏請道：“‘子以母貴，母以子貴’，今太子母無號，宜立為皇後。”景帝正對栗姬反感，認為是栗姬在後指使。當即勃然大怒，大聲喝斥道：“這是你應該過問的事嗎？”立刻命人將大行官處死，並隨後廢太子劉榮為臨江王。太子太傅竇嬰和太尉周亞夫極力反對，也無濟於事，竇嬰一氣之下謝病歸隱。栗姬對立後一事一無所知，受此不白之冤，又無法見到皇帝辯白，不久便憂憤成疾，含屈而死。栗姬死後不到兩個月，王美人便被封為皇後，入主中宮，其子劉徹也被冊立為皇太子。
臨江原來是劉榮弟弟劉閼的封地，劉閼死得早，所以又把劉榮封到了這裏。劉榮到達臨江都城江陵後，卻也仁厚愛民，老老實實地做他的王爺，沒有再爭回皇太子位的打算。不過人無傷虎意,虎有食人心，他是景帝的長子，留著對現在的皇太子始終是個大威脅。朝廷要討好王皇後和新太子的人多著呢！偏偏劉榮自己行事也不謹慎，因為劉閼沒做什麼建設，臨江王宮狹小得很，劉榮就準備搞個大工程擴建一下。這下倒好，馬上有人揭發他侵占太宗文皇帝宗廟餘地來修築王宮。因為栗姬的原因景帝對這個兒子也沒有好感，一聽說此事，當即下令讓他回京城接受審訊。劉榮不得已收拾行裝出發，臨走的時候，在江陵北門進行祖祭。祭奠完畢，剛一登車，隻聽得嘩啦一聲，車軸竟然自己折斷了，劉榮不由得吃了一驚，心情十分沉重。當時來送他的江陵百姓不少，看到這種情況，都知道不是好兆頭，互相哭訴道：“王爺隻怕回不來了！”
劉榮到了京城，去中尉府對簿。恰好遇上了中尉郅都，這位乃是有名的酷吏，綽號蒼鷹。審訊時非常嚴厲，不因為他是皇子而留一點情麵。劉榮想寫信給景帝認錯，郅都卻命令手下人不允許提供筆墨。魏其侯竇嬰得知後，偷偷派人送筆帛給劉榮。劉榮畢竟年少識斷，從未見過這樣的大陣麵，想著母親去世，父親又不喜歡自己，心裏很沒底，害怕會受到嚴厲的懲罰，於是寫下一封絕命書，就自殺了。景帝看完信也不怎麼傷心，命以諸侯王的禮節殮葬故太子，諡為閔。
劉榮死後葬在藍田，下葬後，有許多燕子銜泥加在他的墳上。老百姓見了，沒有不歎息臨江王的冤枉的。
竇嬰將此詳情稟告太後，竇太後知道長孫冤死後非常傷心，對郅都恨之入骨，責令景帝對他革職查辦。景帝隻好調任郅都為雁門太守。竇太後並沒有饒過郅都，多次找他的岔，景帝向她求情道：“郅都是忠臣，您就不要為難他了！”竇太後怒道：“臨江王就不是忠臣嗎？”景帝無言以對，最終竇太後還是借故殺死了郅都。
劉榮沒有兒子，死後臨江國並入漢，稱為南郡。
劉榮因母親得寵而立為太子，又因母親失寵而被廢，最後死於獄中，確實可悲。然而他自己也要負很大一部分責任。既然被廢為臨江王，就該小心從事，不要給人留下把柄。何必去大築宮室，致使有侵占宗廟地的嫌疑呢？不過欲加之罪，何患無辭，縱使沒有這件事，以景帝的刻薄，武帝的嚴酷，劉榮也終究難逃劫難。