謝安雖然在外麵是個一貫優雅從容，泰山崩於前而麵無異色的一代名相，但回到家裏卻也是一個地道的妻管嚴、好老公，而他的夫人清談名士劉惔之妹劉氏在曆史上也以善妒聞名。
與曆史上許多文人一樣，謝安早年在高臥東山的時候，也有攜妓出遊的愛好。後來，他東山再起後，因政務繁忙，才逐漸戒了這口嗜好。所以，在這則《世說新語》的故事裏，他的老婆劉氏為了不讓他老毛病再犯，才放下了帷幕，好讓老公眼不見心不煩。
當然，關於謝夫人劉氏的善妒還有一則更聞名的故事。雖然，此則《妒記》的故事演義成分頗大，但影響也極大。膾炙人口的成語“公說公有理，婆說婆有理”便出於此。
《妒記》中記載，謝安與當時一般的士大夫相同，也頗好聲色，也有三妻四妾之想，但懼於老婆劉氏的河東獅吼，不敢親自開口要求納妾，便請了侄子、外甥代為遊說。謝安的子侄們接到這個艱巨使命，也不敢在嬸嬸麵前單刀直入，直奔主題，而是顧左右而言他，拿《詩經》裏的《關雎》、《螽斯》說事兒，旁敲側擊說什麼《關雎》、《螽斯》中也宣揚女子有不忌之德，言下之意就是讓嬸嬸應該遵守婦德而不要幹涉謝安納妾。
聽到子侄們綿裏藏針的言辭後，劉氏也不以為然，說：“那麼《關雎》、《螽斯》是何人所寫？”
子侄們一聽，可能是覺得嬸嬸有被他們繞進去的跡象，便立刻杜撰起來：《關雎》、《螽斯》是聖人周公所寫。
清談名士劉惔之妹劉氏，聽到他們搬出了周公，立即靈機一動，以彼之道還之彼身，高聲說道：“周公是男的，當然幫著男人說話。如果是周婆寫的，一定沒這種包庇男人的話。這就是公說公有理，婆說婆有理！”
“什麼！”子侄們沒想到嬸嬸會這麼說，當即啞口無言。
“公說公有理，婆說婆有理”，一貫優雅從容的謝安，聽著子侄們代為傳來這話，當即淚奔……
這則《妒記》的故事頗多荒誕不經之處，那至少也反映出那個時代的女性，已經有了要求男女平等的思想萌芽。所謂，“公說公有理，婆說婆有理”，當然也可以被認為是當時上層女性要求愛情自由、婚姻平等的一種呼聲。