由於衣通郎姬姿容絕妙，允恭天皇早就誌存於伊人，故強皇後而令進。史書記載，在“七年冬十二月”，天皇宴於新室，允恭天皇親自彈琴，皇後忍阪大中姬起舞。
當時的風俗，宴會時舞者結束舞蹈後，須對座長陳說：“奉娘子也。”
皇後知道允恭天皇的意思，舞後竟不言禮事。天皇於是對皇後忍阪大中姬說：“何失常禮也？”皇後不得已，隻得重新起舞，舞畢言：“奉娘子。”
於是天皇發問：“所奉娘子者誰？欲知姓字。”皇後奏曰：“妾弟，名弟姬焉。”
當時弟姬隨同其母在近江，因為畏懼皇後，不敢麵見天皇，以致允恭天皇“又重七喚，猶固辭”。允恭天皇不悅，最後派官員烏賊津使主宣召衣通姬，並向烏賊津使主許諾，如召弟姬來，必給厚賞。烏賊津使主是個頗有計策的臣僚，他偷偷將食物藏在衣服中，麵見弟姬說：天皇以命召之。弟姬說自己也敬畏天皇之命，然而“不欲傷皇後之誌”，“雖身亡，不參赴”。使臣說，我既然奉天皇之命來宣召您，如果不成，必將被處以極刑，如果這樣，還不如伏在院中死去呢！於是烏賊津使主就伏在院子裏，七日不起，並且給飲食而不餐。暗地裏，烏賊津使主則食用自己藏在衣服裏的幹糧。這下子，弟姬擔憂起來：如果因為皇後的嫉妒拒絕天皇的宣召，就害死了天皇的忠臣，罪過可就大了。於是決定順從天皇之意願。
允恭天皇寵幸弟姬，皇後忍阪大中姬自然忿忿不平。不得已，天皇隻得在藤原營造宮殿安置弟姬。此後，天皇屢幸藤原，在皇後生下雄略天皇的當晚，天皇猶在藤原。皇後恨恨道：“妾結發，侍宮闈，今妾在蓐，死生不測，而以是夕幸藤原何也？”於是準備縱火燒產殿自焚，天皇聞知後大驚，趕緊下諭旨安慰。
允恭天皇與弟姬多有和歌往還，其中有“細錦紐兮解以褪，數夜禦寢僅得一”（解開你那細致的錦紐，雖欲與汝每晚共枕，卻也隻得一夜罷了）。可見在皇後的忿嫉之下，相見也實為不易。
世界各國曆史上都不乏不愛江山愛美人的事例。另外一位“衣通姬”與木梨輕皇子的戀情就是其一。這裏的“衣通姬”，則指允恭天皇之女輕大娘皇女。
日本一直到江戶末期都時興走訪婚，男子利用夜晚走訪喜歡的女子。在交通不發達的古代社會，因為活動範圍的限製使得近親婚姻極其普遍。加之社會上幾無倫理道德約束，上至天皇下至平民百姓，異母兄弟姐妹之間的婚姻都很頻繁。《扶桑略記》中記載，日本第17代天皇仁德天皇的兒子履中天皇（第18代天皇）在405年（66歲，即位第6年）時，“乙巳正月，以幡梭皇女立為皇後，是仁德天皇之女也”。
第19代允恭天皇的皇子木梨輕皇子本為太子，生得眉目秀麗，《日本書紀》說木梨輕皇子“容姿麗佳，見者自感”，就是說是個人見人愛的美男子。但是在即位之前，木梨輕皇子愛上了同母妹妹輕大娘皇女，並與之私通，留下許多浪漫、奔放的情歌。
輕大娘皇女是日本有名的美女，據說她的美可透過羅衣光照耀眼，因而另有“衣通姬”的名字。麵對這樣的美女，以至於木梨輕皇子愛美人不愛江山了。《古事記》中說，當時朝廷百官和人民都因此背棄了木梨輕皇子，而歸附了他的兄弟穴穗皇子。