1931年，日本軍隊向中國軍隊惡意挑釁，製造出“九·一八”事變，打響侵華戰爭第一槍，隨後，張學良恪遵蔣介石的聖裁，多少也懷有保存實力的私慮，放棄了東北三省的千裏山河，背上了“不抵抗將軍”的惡諡。國人向來持一種古老的價值衡定標準，認為每個壞男人身邊必定有一個或幾個與之相稱的壞女人，例如夏桀王身邊有妹喜，商紂王身邊有妲己，周幽王身邊有褒姒，唐玄宗身邊有楊家姐妹，秦檜身邊有王氏。對於這些塚中枯骨，人人得而罵之，一解心頭之恨。“紅顏禍水”，“妖孽鬼魅”，是最為常見的詬詞。趙四小姐何其有幸，又何其不幸，竟遭到恨屋及烏的國人千口一喙的詛咒。當年，不了解真相的廣西大學校長馬君武便激於義憤，作《哀沈陽》七絕二首，其一為：
趙四風流朱五狂，翩翩蝴蝶正當行。
溫柔鄉是英雄塚，哪管東師入沈陽。
這首詩中寫了三個女人：“趙四”是指趙一荻；“朱五”是指朱湄筠，朱湄筠是北洋政府內務總長朱啟鈐的第五個女兒，是張學良的秘書長朱光沐的妻子；“蝴蝶”是指電影明星胡蝶。此詩諷刺張學良在國難當頭之際，置民族危亡於不顧，竟陷身於溫柔鄉而難以自拔。此詩一經刊出，全國哄傳，罵聲四起。胡蝶憤而辟謠，聲稱她與張學良緣慳一麵，更別說翩翩起舞，若非亂世，她必定會打一場捍衛名譽的官司。趙四小姐則一笑置之，不慍不惱，還因敵取資，寫了一張便箋向張學良表明心跡：“我不計較，更不悔恨，隻因為我有了兩個‘他’。”趙四小姐所說的兩個“他”，除了張學良，還有愛子張閭琳。少帥為千夫所指，遭萬眾唾罵，正在焦頭爛額之際，心灰意冷之時，讀到趙四小姐的這句情話，自然是衷腸為之一熱。
熱河失陷後，1933年3月9日，張學良去河北保定晉見蔣介石，蔣說：“現在全國輿論沸騰，攻擊我們二人。我與你同舟共命，若不先下去一人，以息怒潮，難免同遭滅頂。”張學良不待思索，當即應承道：“我下去！”次日，張學良即發表辭職通電，引咎下野。四月中旬，他攜夫人於鳳至（趙四小姐因照料兒子留在香港）從滬埠出發，前往歐洲漫遊。