但五娘畢竟是個婦道人家，再怎麼苦累掙來的口糧總是嫌少，蔡家的日子每況愈下。蔡婆想念兒子，又難以忍受清苦，心裏的怨氣越積越多，就不住地埋怨老伴把兒子趕走。蔡公也不甘示弱，從不承認自己有錯，兩個老的經常在家吵架拌嘴，動不動就要死要活。五娘無奈，隻能不停地從中勸解，讓公婆息怒，怕他們氣壞了身子。而她自己苦撐著這個家，滿肚子苦水無處訴說，常常在夜深人靜的時候，淚濕枕頭。她唯有盼著蔡伯喈早點回家，能讓二老寬心，能讓全家過上舒心日子。
趙五娘日思夜盼，而蔡伯喈此時已做了丞相的女婿。蔡伯喈麵對皇帝封官，宰相逼婚，手足無措。他起初想辭官回家，可還沒見到皇帝，就被宮門的侍衛擋了回來。這侍衛早就被宰相買通，對他百般恐嚇，威逼利誘，說他要是敢辭官，辭婚，別說前程，連小命都沒有了。蔡伯喈本來就生性軟弱，逆來順受，經侍衛這樣一說，官他不敢辭了，婚也辭不掉，隻好與牛小姐成親，入贅牛府。蔡伯喈見牛小姐果然美貌如花，又知書達理，比傳說中的更好，心裏不免也有些高興。可一想到賢慧的五娘和年邁的父母，他又總是不能安寧。一邊是高官、新婦，一邊是父母、舊妻，蔡伯喈再三權衡，權衡再三，還是哪一頭都放不下。他畏於宰相的權勢，不敢和家裏通信，可不通消息，他又實在惦記著，如此一來，盡管蔡伯喈身穿錦衣華服，日食山珍海味，但良心上總過不去，經常背地裏長籲短歎，日子過得也不怎麼痛快。
屋漏偏逢連陰雨，也許老天覺得給趙五娘的磨難還不夠，又給陳留郡帶來了一場百年不遇的大旱，田地裏顆粒無收，家家都在鬧饑荒，不少人都被餓死了。而蔡家本來就境況窘迫，碰上這種天災，更是雪上加霜，五娘把自己當初陪嫁的首飾和衣服都賣了，為的是給公婆換點吃的。她自己餓著不要緊，可要是餓壞了公婆，她覺得對不起丈夫。等到能賣的東西都賣完了，吃的又沒了，五娘沒有別的辦法，隻有一個人躲在背地裏掉眼淚。她想：科舉考試早已完畢，伯喈能不能考中也早該有了結果，可現在他竟然沒有半點消息，也許自己當初的擔心已經成為現實。想到這裏，五娘心裏不禁心如刀絞，再苦再累她都不怕，但是遭到丈夫遺棄，斷絕夫妻情愛，這是她作為一個女人最命苦之處。但五娘是個賢慧的女人，也是個知禮知德的女人，她不管丈夫還要不要她，眼下正碰到饑荒，她不能丟下家裏的兩個老人不管，隻有咬牙硬撐下去。
這時，官府開倉放糧，五娘趕緊拿起口袋去領糧食，等她來到開倉處，饑民已經擠成黑壓壓一片，五娘體弱嬌小，好不容易才擠到跟前，可快輪到她時，糧卻放完了。五娘一看，大哭起來。放糧官見來領糧的都是男的，隻有她一個柔弱女子，又看她哭得傷心，便上前來詢問，五娘就把家裏的困境跟他說了一遍。放糧官非常同情她，就派人叫來當地的裏正，讓他特地送給她一小袋糧食。五娘謝過，高興地背著口糧往家趕。可沒想到剛走到半路上，那裏正又從僻靜處躥出來，把五娘的糧食搶走了。原來裏正和放糧官常年勾結在一起，侵吞糧庫的糧食，致使糧倉裏空有糧數，而沒有實糧，所以一開倉，糧食很快就放完了。今天給五娘的那袋糧食，是裏正從自己家裏拿來的，他當然舍不得，所以又暗地裏搶了去。
五娘沒領到糧食，沒法回去向公婆交代，她傷心欲絕，覺得對不起家中那兩個老人，看到前麵有口枯井，她就想一頭栽下去，一死了之。這時，正好蔡公趕來，看到五娘要投井，他趕緊過來拉住。原來蔡公見媳婦去領糧久不回家，怕出什麼事，才出來尋找。五娘向公公講了領糧的經過，蔡公不禁老淚縱橫，他知道是自己和老伴拖累了兒媳，後悔當初不該讓伯喈進京，苦了五娘。他想與其為難五娘，不如自己死了算了。蔡公也想投井，五娘趕忙拉住他，公媳倆哭作一團。正好張太公在這裏經過，他已經領了一些糧食，就把自己不多的糧食分給他們一半，勸他們不要尋短見。在那種年月，糧食就跟命一樣，張太公慷慨相贈，五娘和蔡公唯有感激不盡。就這樣，蔡家在鄰居的幫助下，艱難度日。