劉秀的問題如此敏感，大臣們誰也不敢往前湊，隻能越發安靜地站在那裏。
劉秀見林業謀支支吾吾卻說不出個所以然來，他便知內有乾坤，隻要稍稍一想，心中自有答案，心裏對某些人更是不喜。既然有人拿此事做筏子，他何不索性挑明罷了。於是，他沉聲道：“朕不管爾等有多少人與林業謀一般心思，從今日起，都給朕好自為之。今天下未平，爾等倘若有心思過問朕之私事，何不如將此心思放至朝事上，為朕、為百姓好好做事。朕今有王子十一，公主三，往後爾等莫要再盯著朕之後庭，朕愛去何處乃是朕之私事，若爾等執意違之，莫怪朕屆時不留情麵。”說罷，拂袖而去。
誰都不願時刻被人盯著，然後拿他的事肆加評論，何況劉秀乃是天子。劉秀走至宣室殿後，沉思片刻，便讓萬福給郭聖通帶去口諭，說陰麗華孕育龍嗣有功，往後不必再到郭聖通處請安，若無緊要之事，亦不得傳召陰麗華，免得打擾陰麗華行相夫教子之責。
郭聖通聽後，似笑非笑，隻見眼淚已悄然落下。須臾，她速速抹去眼淚，恢複常色。她不知道劉秀怎麼突然給她傳這樣的口諭，隻是眼下可用之人不多，她便不打算命人去打聽，她如今已經下定決心，不管發生什麼事，她都要忍耐，在劉強登基之前，她打算安分守己，熬到出頭之日。
而陰麗華聽了這一切之後，一笑置之，往後該如何還是如何。
建武十年（公元34年）夏，漢軍在天水大敗蜀兵，殺了蜀將田弇、趙匡。
留居翼城的隗純，使大將王元駐紮高平第一城。
漢軍為此兵分兩路，耿弇攻第一城，馮異攻落門。然而不久，馮異病逝軍中。
劉秀賜諡馮異為節侯，複行親征時任執金吾寇恂隨駕，隨駕人員除了寇恂，還有陰麗華，劉秀對外稱陰麗華是他的福將，有陰麗華隨駕，此番親征必然凱旋而歸。當陰麗華聽到這番與劉秀對她所言截然不同的話語時，心中不禁暗暗吃驚，私下不免憂心忡忡，如此一來，她倒是弄不清楚劉秀此舉何意。猶豫再三，這一日，她還是問了出來。“文叔，你原與妾說令妾隨駕不過是為免相思太重而致無法專心，可妾怎麼聽旁人說乃是因妾為你之福將。若有萬一，該如何是好？”
對於陰麗華知曉他的外言，劉秀並不感到意外，他對此笑了笑，問道：“可是從二哥那裏得知？”
陰麗華微微頷首，說：“是。不瞞文叔說，妾心裏其實對你的說辭半信半疑，畢竟昔日文叔可不曾如此執意帶妾同往。妾心裏擱著此事，始終放心不下，便追問二哥，二哥瞞不住，自與妾道來。”
劉秀對此並無不悅，他告訴陰麗華：“本來想等事成之後方告知你，權當個驚喜。既你已知，我亦不再相瞞。我敢那般與外人道，乃因我有必勝之心，別無萬一，我不會置你於為難之地。至於我為何那般說，這亦不過是我欲為你揚名之策，好做後事之備。”
“文叔你……”陰麗華想到了，卻又難以道出，心中不定地對視著劉秀滿含柔情的目光。
隻見劉秀對陰麗華點了點頭，說：“那位置本就屬於你，這亦是我欠你的。”
陰麗華聽了，不禁想劉秀這是心裏話還是試探之言，她連忙說：“王後這些年將後庭打理得井井有條，勞苦功高，文叔怎會生出如此念頭，妾又何德何能？”
劉秀卻笑道：“母儀天下之人應為你。此事我自有主張，你不必再言，一切自有我。往後你該如何還是如何。”
劉秀言已至此，陰麗華自是沒有再執著下去，不管劉秀這是屬於真心的還是出自政治考慮，陰麗華不否認此刻她心裏是歡喜的。這一日，似乎可以預見，屆時她與她的兒女不必屈於人下。想到這，她便覺得高興。隻是，礙於在劉秀在旁，她並沒有表露出來。