當時的民眾，受到了這首詩的影響，對胡蝶非常仇恨，一時之間，胡蝶像曾經的陳圓圓一樣成了“紅顏禍水”的代名詞。胡蝶因為這些流言感到非常大的困擾，當時她正在北平拍《自由之花》《啼笑因緣》和《落霞孤鶩》的外景部分，拍攝之時，便有一些市民衝到了片場，加諸了胡蝶許多莫須有的罪名。
最後，胡蝶不得不返回了上海，並在《申報》上發表了聲明，為自己辟謠，許多公司的同事也紛紛在報上為胡蝶作證，甚至梅蘭芳也出麵為胡蝶辟謠。盡管有著諸多的解釋，但是還是有人對此事半信半疑，老年的胡蝶對此事還念念不忘，希望能夠還自己一個清白，她在回憶錄裏說道：“該結束這段莫須有的公案了吧？”
胡蝶，始終是一個堅貞愛國的女性，在抗日戰爭期間，胡蝶不同於隻關自身，不管身後事的庸眾，她愛國，也用實際行動來抵抗日本。雖然隻是一介女流之輩，但是胡蝶和梅蘭芳一樣，不願接受日本的邀請，拒絕出演了日方策劃的電影《胡蝶遊東京》，盡管日本方麵用重金誘惑胡蝶，但她始終堅守自己的原則，不為所動。
如果說蝴蝶也有分類的話，那麼胡蝶一定是蝴蝶之中的佼佼者，她所青睞的花，不是開在肮髒泥土裏的花，也不是在春天開得沒有特色的花，她所愛的，是開在懸崖之上純潔的百合，是開在風雨裏的蘭花。
對待愛情，胡蝶也有自己的堅守，1935年11月23日，胡蝶和潘有聲結為夫妻，兩個人的愛情之路雖然經曆了一些坎坷，但相伴的時光卻是甜蜜而幸福的。1937年抗日戰爭全麵爆發，11月上海淪陷，胡蝶跟隨潘有聲到香港避難。1941年底，香港淪陷，避無可避的胡蝶帶著兩個年幼的孩子，艱難地回到了重慶。
終於不用麵對戰爭威脅的胡蝶剛要鬆一口氣，卻沒想到即將麵對更大的危難，國民黨統戰局局長戴笠強迫胡蝶做他的情婦，此時的胡蝶沒了曾經的自由，被迫虛與委蛇跟戴笠同居，每一天，胡蝶都是不開心的。詭計多端的戴笠，為了控製胡蝶，特地送給了胡蝶的丈夫潘有聲一張通行證，讓他行蹤不定。沒法聯係到潘有聲的胡蝶，隻好留在了戴笠身邊。
戴笠像是一個揮霍無度的君主，為了討得胡蝶的歡心，不惜一切。為了讓胡蝶少走路，他修馬路修到了胡蝶的房間門口，為了討好胡蝶，戴笠命令建一所華麗的公館，不惜耗費金錢。
工人們苦不堪言，為了趕工，他們日夜勞作，得不到休息，有十幾名工人受了傷，甚至還有人因為精神不集中，被石塊砸死，但戴笠卻全不在乎，他在乎的隻有胡蝶。
曆史何其相似，就像荒淫無度的商紂王為了看褒姒的笑，不惜烽火戲諸侯，就像唐玄宗為了楊貴妃，“一騎紅塵妃子笑，無人知是荔枝來”。在那個人人拿槍、保家衛國的年代，在那個軍人們拋頭顱灑熱血，隻為一寸河山的年代，戴笠全然忘了自己的職責，他想的隻有胡蝶。
胡蝶明白戴笠的占有欲，她始終沒有屈服，始終保留著自己的心。當潘有聲得知胡蝶被迫跟戴笠在一起的時候，他直奔戴笠所在的中二路羅家灣十九號軍統局本部，想到胡蝶所遭受的痛苦，想到戴笠的惡行，潘有聲被憤怒的火焰灼傷著。
幾天過去了，潘有聲還是沒有辦法見到戴笠和胡蝶，又過了幾天，戴笠的秘書王漢光得到戴笠的授意去找潘有聲說：“你要把胡蝶女士帶回去，這點萬萬做不到，你還是拿些錢，做個官算了，聰明人不吃眼前虧。”無法跟戴笠對抗的潘有聲，隻好自己回到了上海。
此時的胡蝶完全不知道自己的丈夫在尋找自己，胡蝶思念著潘有聲，惦記著潘有聲，但是她被戴笠控製著，沒了自由。
就像胡蝶一開始為自己起的那個名字“胡琴”一樣，盡管她在名字上竭力擺脫受人擺布的命運，但還是難以逃脫宿命。她的不自由讓她痛苦，讓這隻曾經飛翔於藍天之中的胡蝶失去了原有的光彩。
1945年，持續了八年的抗日戰爭終於結束，戴笠強迫胡蝶同潘有聲辦理離婚手續。胡蝶一邊流淚一邊對潘有聲說：“他隻能霸占我的身體，卻霸占不了我的心。”胡蝶本以為將要跟潘有聲永別了，卻沒想到，自由跟戰爭的勝利一樣降臨到了自己頭上。
1946年3月17日，戴笠在空難中喪生，胡蝶跟隨潘有聲再次回到香港，安度了生命所饋贈給他們的幸福時光。