謝元卿被嚴蕊的才情徹底傾倒了，於是把她留在家裏，繾綣半年，兩情歡愛，“盡客囊饋贈之而歸”。
然而，嚴蕊已厭倦了風塵日子，她知道以色事人者，色衰則愛弛。人生如朝露，青春易逝，紅顏易老，她向唐仲友表明心跡，想早日脫離風塵。妓業是江南重要的財政收入，官妓脫籍須經州府特批。此時的唐太守已接到調令，到江西擔任提刑使。他對嚴蕊這個美貌與才華並重的風塵女子心裏不是沒有愛憐的，於是用太守的職權準許嚴蕊等四人脫籍。這，也是朱熹參彈唐仲友的罪責之一：濫用職權，私放官妓。
但直到唐仲友調離，嚴蕊在妓樂司衙門的脫籍手續還沒有辦完。
這一年是南宋淳熙九年（1182）。
如果不是朱熹朱老夫子，嚴蕊完全可以按照自己的意願生活。就在這一年，五十二歲的朱熹老夫子擔任了浙東常平使一職，以巡按的身份趕赴浙東視察災後工作。
朱熹是南宋的哲學家、教育家、文學家，宋以後儒家理學的大師，被後人奉為道德文章的光輝代表，所著的《四書集注》在明、清兩代被定為士子必讀教科書。就是說，他的《四書集注》為明清時代科舉必考書目。他在台州幹過一些好事，興修水利、發展文化事業，黃岩的樊川書院、仙居的桐江書院，都曾是他講學的地方。
這個時候，四十六歲的唐仲友已到江西任職。這年上半年，唐仲友又回到黃岩，他是為落實嚴蕊脫籍一事回來的。當年蘇軾做客潤州，太守設宴款待，席間官妓鄭容、高瑩二人趁機請求落籍從良，太守請蘇軾代為決斷。蘇軾酒酣興濃，揮筆寫下一詞：“鄭莊好客，容我尊前先墮幘。落筆生風，籍籍聲名不負公。高山白老，瑩骨冰肌那堪老，從此南徐，良夜清風月滿湖。”句首的打頭字合起來便是“鄭容落籍，高瑩從良”。蘇軾在杭州任太守時，還曾放錢塘一性善媚惑，外號“九尾野狐”的官妓脫藉。
唐仲友與嚴蕊常應酬唱和，但是落籍從良卻是另一回事，唐仲友執意要幫嚴蕊脫籍，顯然是動了真情。唐仲友是個才子，從他的行事風格判斷，好像還有點多血質。他正當盛年，文采風流，難免恃才傲物，執永康學派立場的他對朱熹的那套理學很不以為然，言語上不免有所流露，舉止上對朱熹也有點輕慢，由於學術意見的不同，他與朱熹的矛盾最終升級為官場上的派係之爭。
朱熹高擎“尚方寶劍”奏劾那些他認為有荒政行為的地方官員。唐仲友便是他著重打擊的目標之一。當時的兩浙，正遭受饑荒，等待賑災。朝廷讓朱熹以巡按的身份趕赴浙東指導災後工作。可講究“存天理，滅人欲”的朱老夫子卻覺得，治民甚於治災。他在下基層中，接到群眾舉報，說唐仲友有作風問題，還讓嚴蕊穿著內衣服侍自己洗澡，很不成體統。朱老夫子上的奏章中甚至還有“遺親友市鯗，與民爭利”之語。三個月裏，朱熹六上奏章嚴詞彈劾唐仲友，從殘民、貪汙、結黨入手，事無巨細，均羅列其中，同時彈劾唐仲友私生活不檢點，“與營妓有染”。
宋代重文輕武，言論鉗製相對放鬆，是中國封建王朝中唯一沒因言論殺知識分子的朝代，宋太祖登基後，於皇宮內與眾大臣發誓並立碑勒字“不殺言官”，並以此為家訓。宋朝的知識分子數量之多，地位之高，待遇之厚，學術環境之寬鬆，也是中國曆史上所罕見的。宋太祖在“杯酒釋兵權”後，為了防止功臣悍將作亂，就公開鼓勵大臣們“多置歌兒舞女，日飲酒相歡，以終其天年”，要他們好好享受人生，目的是借聲色來消磨手下人的鬥誌。據說宋朝初年有人看不慣，跑到宋真宗那裏去打小報告。結果大內一合計：這是好事情啊！歌舞升平，聲色犬馬，這不正是“太平氣象”嗎！當時名士縉紳，無論朝野，皆以流連風月，怡情花柳相矜。風流皇帝宋徽宗就經常打著了解民間疾苦的幌子，下基層去找名妓李師師尋歡作樂，還上演了一出君臣為名妓爭風吃醋的豔劇。
宋時的著名詞人周邦彥是京城名妓李師師的老情人。一次周邦彥正在李師師處，宋徽宗忽然駕到，周邦彥無處可藏，隻得藏身床下。宋徽宗從袖子裏取出一個橙子，說是江南新貢，以討好李師師。李師師用纖纖玉手剝開這個新橙，蘸了少許吳鹽，送到皇帝嘴邊，兩人在紅羅帳下溫情調笑。床下的周邦彥聽得百味雜陳。皇帝走後，周邦彥酸溜溜寫了首《少年遊》：
並刀如水，吳鹽勝雪，纖手破新橙。錦幄初溫，獸煙不斷，相對坐調笙。
低聲問：向誰行宿？城上已三更。馬滑霜濃，不如休去，直是少人行！
也怪李師師自己不小心，在之後一次與宋徽宗溫存之際，一時忘情，竟然在宋徽宗麵前唱起了這首詞。詞未唱畢，宋徽宗這個孤佬的醋壇子就被打翻了，他大怒，哪個不要命的小子，竟敢拿天子的私生活來調笑，是可忍孰不可忍。徽宗追問作者是誰，李師師不敢隱瞞，如實道出，得知是李師師的老情人寫的，徽宗更是醋意大發，回朝後便把周邦彥的官職廢了。
過了幾天，徽宗又來找李師師，李師師不在。徽宗幹等了半天，李師師夜半才回，神色憔悴，臉上猶有淚痕，見李師師梨花帶雨的樣子，徽宗心先自軟了下來，氣也消了大半，李師師倒也不隱瞞，說是去送別周邦彥，徽宗問李師師：“他又作詞了嗎？”李師師說：“有一首《蘭陵王》。”徽宗想知道周邦彥都寫了些什麼，便讓李師師唱了一遍：
柳陰直，煙裏絲絲弄碧。隋堤上、曾見幾番，拂水飄綿送行色。登臨望故國，誰識京華倦客？長亭路，年去歲來，應折柔條過千尺。
閑尋舊蹤跡，又酒趁哀弦，燈照離度。梨花榆火催寒食。愁一箭風快，半篙波暖，回頭迢遞便數驛，望人在天北。
淒惻，恨堆積！慚別浦縈回，津堠岑寂，斜陽冉冉春無極。念月榭攜手，露橋聞笛。沉思前事，似夢裏，淚暗滴。
李師師唱得十分傷感，徽宗見李師師美目含淚，一臉悵然，知道李師師不願意周邦彥離京，他便赦免了周邦彥的罪名，把周邦彥召回，封他為“大晟樂正”，類似現在中央歌舞團藝術總監的職務，準他隨時在李師師家走動。一段臣子與皇帝爭風吃醋的桃色事件，倒也演繹出一段風流佳話來。
盡管南宋偏安江南一隅，但聲妓之樂，盛況不減，著名的《馬可·波羅遊記》就有敘述外國人對南宋京師（臨安）名妓的感受：“這種女人手段高明，擅長賣弄風騷，幾句話便引任何男人上鉤，以至於外國人隻要一親芳澤，便會忘乎所以，被她們的千姿百媚弄得銷魂奪魄。”
在這種社會風氣下，唐太守與歌妓交往是一件再正常不過的事。
可是朱熹硬是想從“男女關係”“作風問題”找到突破口，並上綱上線地來整倒唐仲友。