念義護送著常遇春的遺體從北平到達南京後，就一直呆在應天的院裏。因為沒有公事，難得的一片清淨。大兒子鴻暢留在徐達身邊，繼續學習戰略、軍事軍法。徐達四處征戰，從北平訓練士卒，修繕城池，山西練兵，遠征邊疆，後又戍守邊防。直到1376年徐達回京後，念義才回到應天，與父母相聚。
洪武四年（1371年），劉基上奏還歸家鄉，臨行前來到念義家中，與念義一敘。
“爹，師父來咱家了。”鴻遠跑到書房，喊道。
“這孩子，慌慌張張的。”明月看著大口喘氣的鴻遠，忙著給他擦汗。念義則放下書，出門迎接。
“先生，念義有失遠迎，失敬。”劉伯溫說道。
“念義，這次來的匆忙，沒有提前告知，請見諒。”劉伯溫說道。
“先生，念義哥，趕快進屋吧。”明月說道。進屋後，明月為他們沏了茶，又端上了一些甜點。她知道劉伯溫有話要和念義說，就帶著鴻遠到其他屋裏去了。
“伯溫兄，此次前來，定是有事給我說。”
“一切都瞞不過念義的眼睛。此次前來和你聊一些事情，順便作個告別。”
“告別，此話怎講？”
“我已經向陛下申請，準備告老還鄉。”
“去年，陛下授你為弘文館學士，十一月，大封功臣，又授開國翊運守正文臣、資善大夫、上護軍，封誠意伯，食祿二百四十石。為何今日著急離去？”
“念義，你以為這些虛名能綁住我嗎？”
“先生高風亮節，定然不會為這些所困。”
“正月李善長致仕，陛下找我談話多次，讓我做丞相一職。”
“那先生是怎麼回答大哥的？”
“我拒絕了。”
“這是為何？”
“你還不知道我，太嫉惡如仇，又不耐煩處理繁雜事務，所以隻能拒絕了。”
“那大哥是如何說的。”
“他一再請求，我還是婉拒了。”
“這或許就是伯溫兄辭行的原因吧。”
“還是念義你懂得其中的道理，這些話我也隻能和你講一講了。都怪我，當時陛下提了楊憲、汪廣洋，我卻一口否定他們不是合適的人選。”
“先生，朝堂之上，切勿直接了當；與君談話，切記推心置腹啊。”
“這些事，我都懂，但是當時就是為了朝廷著想，所以說出了自己的心裏說。當是陛下說在他心中我是最合適的人選的時候，我就明白，我說太多了。”
“那先生，就選擇辭官還鄉，為大哥尋找人才吧。”
“隻能如此。”
“現在官場，不比以前，以先生的性格，還是早日離開的好，比呆在這裏好多了。”
“英雄所見略同。”
“那鴻遠呢，你帶著他去，還是留在我這兒？”
“這就是我此次來的另外一個目的，想谘詢一下你和明月的意見。”
“鴻遠向先生學習的地方還很多，就煩請先生帶著他去，可指導他。”
“那明月放心嗎？”
“我想，有先生帶著，我們夫妻是很放心的，隻要先生不要嫌煩就行。”
“哪裏哪裏，這孩子天資聰穎，我這一生的本領，有這麼一個弟子傳承，我也無憾。”
“先生過獎了。”
“對了，鴻暢那孩子，現在還好吧，應該成長不少吧。”
“是啊，那孩子，自從三弟去世後，性格變化了很多，現在跟著四弟四處征戰，磨練了他。就因為這事，明月還怪我，說我太狠心，讓那麼小的孩子就獨自生活。”