劉氏嗔怪道：“你自己做官都做不好，還讓兒子也去做官啊！”
嶽飛歎了口氣：“不是做不好，隻是現在朝政黑暗，奸臣當道，我性格耿直，我怕待在朝中或軍中會惹事，所以幹脆回家來休息一段時間。再說了，好長時間沒有看到你們母子，也怪想念的。”
劉氏搖了搖頭：“戰場上那麼危險你都不怕，怎麼就怕做官了？”
嶽飛輕撫妻子的長發：“你不懂的，我嶽飛會打仗，就是不會做官。打仗的時候我已經得罪了不少人，現在我辭官回家可以說是明智的，省得陷入鉤心鬥角中。”
劉氏點點頭：“不管怎麼說，這個家還得靠你啊，你一定要好好保護自己。”
嶽飛：“戰場上不是生就是死，如果嶽飛不幸戰死，也算是為國盡忠，沒有遺憾。至於你們母子，我已經給你留下了足夠的銀子，那些都是皇上賞賜給我的。”
劉氏：“我不要什麼銀子，我隻要你的人。”
劉氏說完，意識到自己失言了，低頭含羞。嶽飛抱住她，走進屋子裏，夫妻情深。
嶽飛在家大概住了有半年，這半年時間他主要是教兩個兒子習武讀文。陪著妻兒的這半年，嶽飛時時不忘國家大事。一天深夜，妻子已睡熟，嶽飛披衣起床，在窗前寫下了《小重山》這首詞：昨夜寒蛩不住鳴。
驚回千裏夢，已三更。
起來獨自繞階行。
人悄悄，簾外月朧明。
白首為功名。
舊山鬆竹老，阻歸程。
欲將心事付瑤琴。
知音少，弦斷有誰聽。嶽飛寫完，對著明月發出一聲長歎。豈料此時身上多了一件衣裳，原來是妻子劉氏醒來，為他披上了衣裳。
嶽飛問道：“你怎麼醒了？”
劉氏關切地說：“相公，你在家這段時間，時時不忘國家，我看你神色間總有憂慮。”
嶽飛輕籲一口氣：“人無遠慮必有近憂，雖然表麵上宋金兩國締結了和平條約，但是金人貪得無厭，他們豈會真的善罷甘休。我與金人交戰多次，深知他們虎狼之心貪得無厭。”
劉氏：“你想回軍中了？”
嶽飛：“戰事還沒有爆發，但是我卻有一種不踏實感，總覺得有大事要發生。”
劉氏：“現在兩國相安無事，沒有打仗，相公，你就不必多慮了。”
嶽飛點點頭：“但願是我多心了。”