這是頭兩年的狀況，談不上好，可也不算壞。
後來就不行了，民國23年，也就是1934年，先是維豐的永利鐵工廠因經營不善關門倒閉。繼而，葉大耳朵又和維豐的地頭蛇、青幫裏的吳大爺翻了臉，被吳大爺手下嘍囉紮了三刀，死在了醫院，來自維豐的接濟完全斷絕了。
也是在這一年，王壽鬆的老婆趙大芝遇車禍送了命：她到瑪麗路送漿洗好的衣服，因勞累過度，恍恍惚惚，在過馬路時被華福公司運貨的卡車撞倒了，沒送到教會醫院就斷了氣。
生活一下子變得艱難起來，鄭少白每月就是能拿到五十幾天的工薪，也難以填飽四個孩子的肚皮。而葉春蘭這時又懷了孕。因為生活困窘，葉春蘭脾氣變得很壞，煩躁不安，時不時地會因為一點雞毛蒜皮的小事和鄭少白大吵一通，對當初答應收養王湧、王玲兩個外姓孩子也十分後悔。
有一天晚上，葉春蘭終於把話給鄭少白挑明說了：“……孩子他爹，老王家那兩個孩子，咱真不能再留了！不是我不想留，是留不起呀！這幾年下來，咱於情於義都對得起王三哥了，再留下去，他倆受罪，咱們也受罪！”
鄭少白黑著臉不做聲。
葉春蘭又說：“我的意思也不是把這兩個孩子趕到街上去。我是說，咱們是不是給他們找個好人家，讓人家收養？咱真養不起呀！咱們小三又要出世了。”
這都是實情，鄭少白知道。如果不是因為王三哥對他恩重如山，不是因為王三哥死於他的不義，他還能說啥呢？這幾年也真難為葉春蘭了。
然而，這樣卻不行。對王三哥的良心債，對這兩個孩子的良心債，他不能賴，那是他欠下的，不論怎麼難，他也不能拋下他們不管。
於是，鄭少白便說：“春蘭，你的苦處我都知道，可把小湧、小玲送人，我還是不能答應！你說的那種好人家，咱到哪去尋呀？小玲還是個女孩子，送給人家隻能當童養媳，那苦就沒邊了，咱……咱就坑了她一輩子啊！”
葉春蘭道：“跟著咱還不是一樣受苦麼？”
鄭少白說：“那不一樣！他兄妹倆跟了咱幾年，已經像一家人一樣了，就是苦點也習慣了，而若是到一個陌生的人家去……唉！還是甭說了吧！小湧今年也十一歲了，眼見著就大了，也能到廠裏做工了，咱……咱就再撐撐吧！咱往先對得起王三哥，日……日後還得對得起三哥啊……”
鄭少白又一次說服了葉春蘭，硬是在最艱難的時候，把王湧、王玲兄妹留了下來。王湧、王玲也都是懂事的孩子，知道他和葉春蘭撫養他們不容易，母親去世之後，兄妹倆沒要任何人說，就背起了小麻包滿世界撿煤渣，拾破爛。當王湧把汗津津的小手裏攥著的第一筆小小收入如數遞到鄭少白麵前時，鄭少白摟著王湧、王玲哭了，哽咽著說：“孩子……好孩子，你叔對……對不起你們啊……”
王湧、王玲也哭了，不過，卻並沒覺著鄭少白有什麼地方對不起他們。
許多年過後，當王湧、王玲長大成人，鄭少白叛變真相被揭穿之後，他們才弄清鄭少白這話中深含的愧疚。王湧從此不再認這個叔叔，而王玲卻在痛苦了好長時間之後，重又回到了鄭少白身邊。她忘不了自己在鄭少白身邊度過的那段艱難的日子。