隻是沒過多久，嚴氏說自己病重，要讓趙氏侍候，卻不想趙氏已懷胎近四月未察覺，嚴氏雖拿了趙家不少好處，骨子裏卻看不起商戶，一直覺得自己兒子配趙氏有千般委屈，故而很是折騰了一番趙氏，這也是常有的事，卻遇上趙氏有了身孕，一個不慎，趙氏累的暈倒，醒來才知自己流產，哭的死去活來，卻又不敢埋怨嚴氏。
在娘家嫂子過來看望的時候才說出實情，趙氏一激動，把嫁入候府幾年的委屈都跟娘家嫂子說了，她們回家一說，趙家人才知道，原來候府待自己的閨女並不好，卻也悔之晚矣。
趙氏大哥趙齊性子急，當即便要去候府接回妹子，羅氏攔下了他，“你去接回蘭姐兒，那你外甥女如何安置？那是李家的孫女，他們不放人，你敢硬搶嗎？”趙齊這才作罷，隻是心裏恨極了李家人，而後李家人在趙家的鋪子裏買東西或吃酒，趙齊都要當場要帳。
有一回，候府三爺李溫來醉月樓請友人相聚，便有一官家子弟笑說，“李三，聽聞你們候府作得這醉月樓的主，是外間亂傳還是確有其事？”
李溫一向走雞鬥狗，吃喝玩樂，飲酒會妓最通，結交的朋友也是此類，他這幾年因著和趙家成了親家，銀錢上寬裕不少，很是長了不少麵子，這會兒更不肯失了麵子，在他心裏，趙家一介商戶，自己候門貴府，就是送個女兒做妾，那也是便宜趙家，他們敢不幫著自己？所以便點頭稱是。
於是那官家子弟便同李溫打了個賭，他以李溫看上的香月樓妓女為賭注，而李溫若輸了，便把這醉月樓後院扶雲包廂裏掛的出自名家之手的遊宴圖給他，李溫一口答應下來，一副破圖，自己要，他趙家敢不給！
最後兩人以骰子相博，李溫沒有贏，卻是先可惜了一番美人，才在好友的催促下，直接找來掌櫃，吩咐他把那副遊宴圖拿出來，自己要帶走，掌櫃早接了東家的話，凡是忠義候府的客來了，便同別的客一樣招待就是，但也拿不準度，於是笑著稱自己需要請示東家便趕緊報了趙齊，趙齊隻讓他不要搭理李溫，哼，那幅遊宴圖，何等難得，那是酒樓的寶貝，多少貴人想買，都買不到的，他李家的人憑什麼。
這廂李溫被掌櫃告知不能給他圖，便發了火，差點沒把掌櫃的打死，那官家子弟眾人皆在嘲笑他，李溫回了府，馬上就向嚴氏告狀，嚴氏一聽，把趙氏叫來，命她快去拿圖來給李溫，還要她們趙家趕緊上門賠禮道歉，趙氏怎願娘家人受此侮辱，便沒有同意，嚴氏就罰趙氏跪了一天一夜，趙家聽聞消息要上門探望，嚴氏拒了。
就是這一跪，趙氏急急病倒了，沒過幾日，便香消玉殞，從此趙家便恨上了李家，卻礙著李菱，沒有撒破臉。
沒過一年，李溫同人在香月樓搶一女妓，失手將對方打成重傷，這人也是京城官宦子弟，且有些實權，便要告李溫傷人，且寫折子上奏，言忠義候管家不嚴，教子無方。
嚴氏把手中銀錢投了大部分去打這官司，奈何候府早已日薄西山，權無錢無，眼看李溫就要判了牢刑，忠義候爵位也快不保，嚴氏求到趙家，求趙家出錢疏通關係，替侯爺保住爵位，趙家未同意，隻是第二日，李菱就生了大病，說是高燒不退，趙家急得如熱鍋上的螞蚱，最終趙家二爺趙楠找了忠義候，同意出錢疏通，李菱高燒才褪去，趙家人才得以探望。
最後忠義候保住了爵位，李溫也未判牢刑，卻被判了五十大板，那五十大板打的他皮開肉綻，把李溫打的幾乎半死，嚴氏心疼的什麼似的，怪趙家沒有盡力，故意害她兒子，自此下令不準趙家上門，慢慢的，候府的人就忘了趙家和候府是親家了，隻有在見到五娘子李菱的時候，才覺起有這回事，這也是嚴氏最厭惡李菱的地方。
不知不覺，已到用晚膳時候，穀雲端著李菱的飯食至明間，放下後，踱著步子到李菱身後，“五娘子，用膳吧，這雪有什麼可看的，明早一化，凍人的很。”
李菱將目光從窗外移回屋內，她沒有在看雪，隻是在想，怎麼想個法子，見一見趙家的人，照她所知，趙家的人想必是極疼她的，聽說大舅舅趙齊的兒子已經考中了舉人，明年再下場，若能中了進士，就入了仕途了，這樣趙家就不再是商戶，他們若能幫自己，自己就不用被候府當成工具，交換出去。