班婕妤以理製情，不與皇帝同車出遊這件事被漢成帝的母後王太後聽到了，她十分讚賞地對左右人說：“古有樊姬，今有班婕妤。”樊姬是春秋時代楚莊王的妃子，以善於勸諫楚莊王少犯錯誤，勤政愛民、勵精圖治稱著。楚莊王剛即位時，喜歡打獵，不務政事，樊姬苦苦相勸，但收效甚微。於是她不再吃禽獸的肉，楚莊王終於被樊姬感動，從此改過自新，不多出獵，勤於政事。後來又由於樊姬的推薦，他重用賢人孫叔敖為令尹宰相，三年而稱霸天下，成為“春秋五霸”之一。王太後把班婕妤比作樊姬，可見這是對她的最高褒獎。
由於班婕妤的賢德，她在後宮中得到了宮女的愛戴。班婕妤從不爭寵，也不幹預政事，謹遵禮教，行事端正。即使在得寵期間，她也並未恃寵自驕，而是謹守為婦之德，不越雷池，她的言行受到了上自太後，下到百姓的交口稱讚，為宮人樹立起了良好榜樣。
趙氏姐妹入宮來，急流勇退明保身
然而，事情並沒有像人們所期望的那樣發展，班婕妤沒能成為漢成帝的賢內助，也沒能幫助漢成帝成為一代明君。很快，她就失寵了。失寵的原因，就是繚繞舞女趙氏姐妹的到來。
這個趙氏姐妹是誰呢，隻要提到趙飛燕大家就一下明白了。大唐詩人王昌齡寫了一首詩《長信秋詞》：“奉帚平明金殿開，且將團扇共徘徊。玉顏不及寒鴉色，猶帶昭陽日影來。”其中，團扇比喻的就是班婕妤，而寒鴉色則是趙飛燕。宋朝詞人辛棄疾在《摸魚兒》中也如此寫道：“更能消、幾番風雨？匆匆春又歸去。惜春長怕花開早，何況落紅無數。春且住。見說道、天涯芳草無歸路。怨春不語，算隻有殷勤，畫簷蛛網，盡日惹風絮。長門事，準擬佳期又誤。娥眉曾有人妒。千金縱買相如賦，脈脈此情誰訴？君莫舞。君不見、玉環飛燕皆塵土？閑愁最苦。休去倚危欄，斜陽正在，煙柳斷腸處。”雖然，“玉環飛燕皆塵土”，但當時的趙飛燕可是一人之下，萬人之上，就連才華橫溢、美貌無比的班婕妤也隻能認輸投降，無奈明哲保身了。
由於漢成帝劉驁本是好色之徒，在其做太子時，就“湛（同‘耽’）於酒色”，即位後更甚之。雖然，有班婕妤這樣的美女天天為伴，但他終究沒有滿足。有一次，漢成帝微服到陽阿公主家，見一個舞女婀娜秀美，舞姿撩人，當即便把她召入宮中寵幸。這個舞女不是別人，正是趙氏，因身輕善舞，人稱“飛燕”。趙飛燕進宮之後，又舉薦她的妹妹趙合德進宮，於是兩人一並受寵得勢，貴傾後宮，權壓朝廷。
趙氏姐妹受寵之後，許皇後因此受到了冷落。這位國母絕不願意失去自己的崇高地位，便決定全力抗爭。許皇後在寢宮中設置了一處神壇，晨昏禮拜，既為皇帝祝福，也對趙氏姊妹加以詛咒，希望神靈能夠幫她除掉趙氏姐妹這一對“妖孽”。然而，她禮拜的消息很快就傳到了趙氏姐妹耳中，兩人於是在深夜與漢成帝床笫之歡時，將此事添油加醋地向漢成帝告狀。漢成帝盛怒之下，不分青紅皂白就把許皇後貶廢在了昭台宮。
除掉許皇後，排名第三的班婕妤便是最大的“頭號敵人”。於是，趙氏姊妹又向成帝進班婕妤的讒言。漢成帝又未仔細考慮，就開始追究，慶幸的是班婕妤從容不迫，委婉陳詞：“妾聞死生有命，富貴在天，修正尚未蒙福，為邪欲以何望？使鬼神有知，不受不臣之愬（同‘訴’）；如其無知，愬之何益？故不為也！”翻譯過來就是：“臣妾聽說死生有命，富貴在天，修正尚且未能得福，為邪還有什麼希望？要真是鬼神有知的話，怎麼可能聽信讒言呢；假如鬼神無知，這些讒言又有什麼用呢？臣妾不但不敢做這些事，也不屑於做這些事。”漢成帝聽後想了想，覺得班婕妤說的在理，又念在不久之前的恩愛之情，“憐憫之，賜黃金百斤”（《漢書·外戚傳》），便不予追究，同時也以此彌補心中對她的愧疚。
不久之後，漢成帝立趙飛燕為皇後，其妹趙合德為昭儀，從此後宮便成為趙氏姐妹的天下。對漢成帝的沉淪墮落，班婕妤徹底看清了，她早已心灰意冷，思慮再三，終於做出了決定：“求共（供）養太後長信宮”（《漢書·外戚傳》）。漢成帝允其所請，聰慧的班婕妤把自己置於王太後的羽翼之下，無奈明哲保身去了。
福禍相依未可知，辭賦大家從此生
自此，班婕妤再也不能得到漢成帝的寵愛，遠離了繁華的皇帝寢宮，從此陪伴她的隻是寂寥深宮、冥寒冷月。她心如止水，形同槁木，除了陪侍王太後燒香禮佛之外，長晝無俚，弄箏調筆之餘，也提筆開始塗塗寫寫，希冀抒發心中的感慨。唐朝詩人李益在《宮怨》詩中言：“露濕晴花宮殿香，月明歌吹在昭陽。似將海水添宮漏，共滴長門一夜長。”正是描寫了班婕妤在此段人生中的境況和心境。