嶽飛這樣一個大英雄，但婚姻生活並不美滿。年代飛十六歲結婚，他的第一個妻子劉氏，為嶽飛生了二子一女，現長子嶽雲16歲、長女安娘13歲、次子嶽雷九歲。
1127年靖康之變時嶽飛那時隻有二十五歲，他把三個孩子和老母親姚氏托付給自己的妻子劉氏，自己再一次從軍了。戰亂年代，丈夫不在家，劉氏要帶三個孩子和一個老母親生活的確很辛苦。
但是劉氏卻經不住這種艱苦，第二年（也就是1128年建起炎二年），劉氏扔下了姚氏和三個孩子自己跟著韓世忠手下的一個小軍官跑了，做了他人妻。在湯陰的嶽飛母親姚氏帶了三個孫子、孫女舉家找到在軍中的嶽飛，嶽飛才知道這回事。
嶽飛每愛劉氏，三個孩子也需要母親，每到一個地方他就找她的妻子，以至於弄得所有的人都知道了嶽飛丟了妻子的事，當時在關中的吳玠也知道了這件事，就送下了一個世家的女孩給嶽飛，但是嶽飛並沒有接受，他想他能找到自己的妻子，所以將這個美女原封不動起送了回去。對這件事，吳玠非常佩服，他跟人家說：
“嶽飛能打仗，咱們服，但那天我見到我送的女孩回來，我對嶽飛更是由心衷的佩服，我吳玠比不上他。”
母親到了以後，他才母親和在人家的撮合下與現在的李氏結了婚。李氏是漁家子女，那年結婚的時候她已經二十八歲，比嶽飛還大兩歲，嶽飛是見母親和孩子沒人照顧才娶了她。這李氏很孝順，她的名字就叫孝娥，也很能生養，結了婚以後，一年生一個，一下子嶽家就多了兩人。其中最知名的就是銀瓶小姐了。（事實上，銀瓶在嶽飛被害的當年就為父親殉死了。，這是一個心誌很堅定的小姑娘。）
在正史上，紹興八年，嶽飛才找到妻子劉氏，這還是同為大將軍的由韓世忠幫他找到的，有一次他聽部下說，一個小軍官吹牛，他的老婆原是嶽飛的老婆，知名小將嶽雲的母親。韓世忠才知道，這嶽飛的妻子劉氏已成為他下屬的一個小軍官的老婆，並又生有子女。韓世忠了解了整個原委，劉氏並非是戰亂失散，這個將軍收留他，而是劉氏經不起這小軍官的勾引，與他私奔的。韓世忠將事件事告訴了嶽飛，並勸嶽飛把前妻領回去。嶽飛知道妻子劉氏早已為作他人婦，他對韓世忠的勸說反應很冷淡，他不再想破壞兩個家庭，也沒有要回自己的前妻劉氏，從此嶽飛對劉氏的思念徹底地埋藏了起來，直到他死於風波亭。這是後話。
所以象嶽飛這樣不好女色隻知道打仗的將軍真是少見。古人雲，英雄美女，女人愛英雄，英雄喜歡美女，這好象是天經地義的事，但是嶽飛是個例外。
“老爺，大少爺回來了，還帶回來一個人，說是要見你。”李氏從嶽飛手上接過孩子，一邊跟嶽飛說正事。
“哦，雲兒回來了，另外來的是什麼人？”嶽飛問。
“不知道，象是有重要的事，大少爺正陪著他。”李氏老老實實地回答。