貞觀九年（635）五月，太上皇李淵謝世。武士彠在荊州哀悼成疾，吐血而死。當時，武則天僅有十二歲。
武士彠的靈柩在長沙大崇福觀裏放了七個月。唐太宗認為武士彠是忠孝之士，並追贈禮部尚書，令官辦喪事。貞觀九年十二月，武則天兄妹護送著武士彠的靈車，長途跋涉，返回並州（治所晉陽，在今山西太原市西南）故鄉，在並州大都督英國公李勣的監護下埋葬了他們的父親。
從此，武則天一家開始了孤兒寡母的慘淡生活。
武則天在孩童時代，一直隨父母奔波，幾乎遊遍了大半個中國。揚州的煙花，豫州的綠野，利州的山水，荊州的競帆，並州的飛雁，都給她留下了深刻的印象，陶冶了她的情操，培養了她的氣魄。這是同時代的同齡人極少享受的際遇。
武士彠夫婦與武則天朝夕相處。士彠為人忠厚，性情開朗，通曉兵法，懂得為官之道；楊氏篤信佛教，富有個性，熟知經史，能寫善畫。這無疑會對武則天產生潛移默化的影響。此外，武士彠曾經做過商人，楊氏未曾生男，傳統觀念較少，並不重男輕女。因此給武則天傳授文化知識也是情理中的事。這在同齡人中也是為數不多的。
由於缺乏記載，後人無法弄清武則天童年都幹了些什麼。但從現有材料推測，她不是像普通官僚的女兒那樣深居閨房，學做家務之事，而是較為“開放”，閱讀過文史書籍，學習過書畫、音樂、舞蹈等等。
武則天的童年，就是在這樣的家庭環境裏度過的。她經曆過唐初的風雲，跟隨父母身邊，由一名天真無邪的孩童，成長為一位亭亭玉立的少女。曆史將為她安排怎樣的命運，當時她連想都不曾想過。
武士彠的死訊傳到長安，唐太宗李世民非常悲痛。他認為武士彠堪稱是盡忠皇上的典型。據他後來對武則天說，他在武都督病重期間，曾派宮廷名醫前去診
治，因途中受阻而返。太宗對臣下的功過是非是直言不諱的。對高祖舊臣，他最信任劉文靜，所以一上台就為劉文靜辨誣平反。他最嫉恨善於阿諛奉承的裴寂，所以盡管裴寂位列三公，但貞觀三年太宗就貶逐了他，指責他為“武德時政刑紕繆”的禍主。而對武士彠，他既沒有重用，也不加貶斥，這就是因為他了解武士彠的德行才幹，穩重實幹而無大才。武士彠在荊州任上披肝瀝膽，他曾下旨褒獎說：“公比潔冬冰，方恩春日。奸吏豪右，畏威懷惠。善政所及，祥杜屢臻：白狼見於郊垌，嘉禾生於隴畝。其感應如此！”此敕稍過譽而不具體，與對身邊重臣的評價就不一樣。如對魏徵的死他說是失去了一麵鏡子，何其生動具體。這是因為武士彠畢竟是高祖舊附，能忠心耿耿，應當不吝嗇褒獎安慰。
武士彠死後哀譽既不隆重，也不卑下，就像他生前的地位和在他所忠心侍侯的皇帝心中的形象一樣。他沒有陪葬獻陵，但太宗贈他為禮部尚書，諡曰“定”，特命歸葬文水，並委派並州大都督李勳監護喪事。“定”這個字對武士彠的人品才幹可稱得上是恰當評價。
在大唐皇室和大多數重臣心目中，武士彠就如一匹老馬，走到了盡頭，大唐依舊要運用。但對武家來說就遠非這麼簡單。對出身低賤之家來講，在朝為官者就是家庭的頂梁柱，他一倒，頂梁柱就垮了，一家人就會由官屬變成平民百姓。
對年幼的子女來講，父親則是一棵溫暖的大樹，遮擋炎日雨雪，樹倒了，就無所庇護了。武則天姊妹中，大者尚未出嫁，小者還在童稚，父親一死，無論從哪方麵來講都是一場大考驗。元慶、元爽還可以功臣之後的名義托蔭授官，這棵樹的蔭蔽還在，但對女兒們來講，哪兒是歸宿呢？背負這一家庭的大轉折帶來的悲傷，楊氏母女隨元慶、元爽兄弟扶柩回到原籍文水。從荊州到並州，有數千裏之遙，以馬車和馬匹代步，他們一路晝行夜宿，走走停停，還要應酬沿途官府的吊喪。
這一路淒慘的心境竟與沿途的低層人民的處境找到了溝通之處，震憾了武則天的心靈，好奇心淡化了她的悲哀。
貞觀九年時，大唐穩定未久，中原的社會經濟還沒有恢複到隋時的水平。正如魏徵所說：“戶口未複，倉廩尚虛，灌莽極目。”戰亂中流徙的農民剛剛回複到田疇之上，辛勤耕耘，以求溫飽，還要承擔租庸調川種負擔，又加貞觀頭三年連續三年大災荒，因此生活還很艱難、沿途乞丐不少。行至山西境，武則天見有衣衫襤褸者跪地求乞，終於忍不住問母親：“娘，前年聽我爹說過，中原富庶得很。
在父親收到的詔敕中還有‘倉廩足實，黎民安樂，外戶不閉’的話。在荊州府衙裏也沒見著這麼多乞丐，我還信以為真，怎麼這一路的百姓並不富裕，還有人乞討呢？我真弄不明白。”
楊氏說：“傻丫頭，荊州都督府衙裏均是官員們往來之地，哪有乞丐？出了州縣衙門，還不都是這個樣子。娘在本朝初年，在長安逃避兵荒馬亂的時候，連長安都沒有番薯吃，餓殍遍地，到處都是傷兵難民。你哪裏知道這些事哩。”
武則天不解地說：“現在不是英明之君當皇上嗎？我想一定是府衙裏的那些穿錦著蟒的官員們剝削百姓、糟蹋皇恩了。不知皇上可否知道這些情況？如果知道，殺了他們才好呢。”
姐姐插嘴說：“爹爹也是府衙裏的人，那他也是貪官嗎？”武則天說：“爹爹當然不是，他是好官，懲治為富不仁的人，病得那麼重，還體察民情。這事皇上都知道。”
楊氏聽她們談起老爺，不免又傷些落淚。武氏姐妹見了，不再爭吵，又沉默而行。不過，這一路的所見所聞使武則天大開眼界。在官衙裏住著，讀書騎馬，無憂無慮，可從沒見過外麵的世界，對貧富之分可以說一無所知。這一路所見所聞所感，在她的腦海裏留下了極為深刻的印象。
貞觀十二年（公元 638 年），唐太宗聽說武士彠的女兒很漂亮，就詔令武則天入宮，封為“才人”。
按照唐初後宮的製度，有所謂“四夫人”、“九嬪”、“二十七世婦”、“八十一禦妻”的編製，也就是說，除了皇後之外，還另有 121 位妾侍。“四夫人”是：
貴妃、德妃、淑妃、賢妃。“九嬪”是：昭儀、昭容、昭媛、修儀、修容、修媛、充儀、充容、充媛。“二十七世婦”是婕妤、美人、才人各 9 人。“八十一禦妻”
是寶林、禦女、采女各 27 人。另外還有上千的沒有名號的宮女。編製嚴謹隻能依次升補，不能巧立名目，隨意更改。武則天被封為“才人”，算起來在皇帝的121 位禦妻中排名第三十幾位。以武則天的美貌和其父親勳臣的地位，才人的地位並不算高。或許最初武則天並不太在意，想著日子還長，說不準哪天也能得到皇帝的寵愛，地位就能扶搖直上，但隨著日子一天天過去，武則天的信心一點點被消磨掉了。
在武則天以前，長期的民族融合，形成了一種新的社會風尚。北朝以來，社
會上活躍著一批明識遠圖、雄健勇武的傑出女性。所謂頭發長見識短，所謂女子無才便是德，所謂餓死事小，失節事大，所謂三寸金蓮弱不禁風，我們今天所批判的這些對女性的傳統束縛和偏見，在那個時代都還沒有成為傳統，對女性美的判定標準也有異於後代。當時評判美女的標準更重健美而不是纖弱，更重青春熱情而不是文靜冷漠。武則天是當時公認的美人，她亭亭玉立，身材健碩，臉方，下額秀美，雙目明媚，兩鬢微寬，嫵媚清秀。她自信在宮中會爭得自己的一席之地。但預想和現實差得太遠。
武則天家族南北朝時居住在今山西文水一帶。武則天的祖上雖曆代官宦，但並不顯赫，武家命運的改變，是在她的父親武士彠的時候。武士彠做木材生意起家，致富之後，頗好交結，在隋末動亂之中，認識了在山西帶兵的李淵。雖然武士彠沒有參與李淵的密謀起兵之事，但由於與李淵有些老關係，並在起兵後作為軍需官進入長安，所以在唐朝建立後，被封為 14 名“元從功臣”之一。就這樣，武氏家族成為長安城裏的新貴。
武士彠的前妻相裏氏生下了武元慶、武元爽二子，相裏氏在武士彠 40 歲出頭時去世。唐高祖李淵出麵為他續弦，撮合他與當時望族聯姻，於是，隋朝宰相楊達的老姑娘便成了他的新妻。史學大師陳寅恪認為，武士彠本是一商販寒人，以投機致富，其非高門是明顯的，一生事跡最可注意的一點，即娶楊氏女為繼妻一事。
武則天的母親是隋觀王楊雄的侄女，楊雄雖非隋皇室直係，但位望甚重。武士彠在隋朝隻是一富商，並沒有和觀王楊雄家聯姻的資格。他娶楊氏是在隋亡以後，他以新朝顯貴的身份娶舊朝宗室，借此提高其社會地位，這也是當時的風氣。
陳寅恪認為，史書記載唐太宗聽說武則天美麗而召她入宮。武則天的美麗固不待講，但是從唐太宗重視楊氏家族的心理推斷，恐怕和榮國夫人是楊雄的侄女有關係。
武則天成長的時代，正是中國社會從門閥社會走向一般地主官僚社會的時代，門閥觀念在社會上還有極大的影響。從武則天的母親家看，她的身上有著高門大族的高貴血統，但從父係的門第看，卻是被人不齒的富商出身，有點暴發戶的嫌疑，在傳統的門閥觀念中，不被列入高門士族之列。在這樣複雜的家族裏，矛盾和紛爭自然是很激烈的。