建武十二年（公元36年）十二月，公孫述的首級詣洛陽。隨後，劉秀遣使申名大司馬吳漢：訪求賢良，詔表誌節之士。
吳漢自悔劫掠過甚，努力遵命照辦。李育、程烏等公孫述舊將，擇才使用，追贈勸降不成、憂鬱而死的公孫述文臣常少為太常，張隆為光祿勳，旌表閭裏。招隴、蜀百姓被掠為奴婢自訟者以及獄官未報者，一律免為庶人。至此，吏民悅服，先前的怨恨頓時煙消雲散，蜀地臣服歸漢。
漢軍東宮西征、南伐北戰，四方基本告平，剩下的隻有一個潛用帝號、偽稱劉文伯的蘆芳。同年，劉秀遣謁者段忠率各郡減刑者歸配杜茂，鎮守北邊。杜茂發邊卒築亭侯，修烽火台，又發委輸金帛繒絮供給軍士，並賜邊民，冠蓋相望。推廣屯田，開荒自種，糧穀豐收，驢車運轉。
蘆芳垂涎邊地物產，親率賈覽進攻雲中，留大將隨昱守九原。雲中久攻不下，隨昱欲脅蘆芳歸降。蘆芳知羽翼外附，勁旅心離，盡棄輜重，與十餘騎逃入匈奴，餘眾盡歸隨昱，隨昱便派使者程恂去洛陽詣闕。
劉秀既往不咎，拜隨昱為五原太守，封鐫胡侯，繼使隨昱阻擋胡人擄掠，為朝廷社稷建功，頗含深義。
隨著蘆芳逃入匈奴，其所占城邑紛紛來降。雁門人賈丹、霍匡、解勝等，常被尹由欺辱，尹由為帥，共守平城。賈丹等共殺尹由，肉袒詣郭涼。郭涼具表上奏，皆封為列侯。緊接著，郭涼誅殺豪右郇氏，鎮撫百姓，旬月間收服了雁門。然而隨著各地歸降，突然之間增多了大量的奴婢，對於如何安置這些奴婢，劉秀問計於眾臣，有些臣子上疏說可仿昔日齊桓公設女閭。
劉秀看過奏疏，餘光觸及正在一旁磨墨的陰麗華，目光自然而然落到了陰麗華身上。一時興起，他問陰麗華：“對於設女閭一事你如何看？”
正在磨墨的陰麗華頓了一下，須臾又繼續磨墨，思考之後，她回道：“若為天下計，可設女閭；若為文叔計，倒大可不必。”齊桓公設女閭乃是她的先祖管仲所獻良策，她自是知道的。
昔日管仲設女閭，並非為了淫樂，亦非異想天開，而是有一定的政治與經濟的目的：
第一，為國家增加收入，置女市收男子錢入官，即後世所謂“花粉稅”、“花粉捐”。所以清朝的褚學稼說：“管子治齊，置女閭七百，征其夜合之資，以充國用，此即花粉錢之始也。”
第二，緩和社會矛盾，即一方麵不要使許多男子有無處發泄****的苦惱，另一方麵使大量女奴隸得以適當安置。如《韓非子?外儲》說：“桓公見民行年七十而無妻，以告管仲。對曰：‘臣聞上有積財，****必匱乏；宮中有怨艾，****有老而無妻者。’桓公曰：‘善。’令於宮中女子未嚐禦者出嫁之，乃令男子年二十而室，女子年十五而嫁。”這一來，使社會上有些男子無妻的矛盾緩和了。同時，當時桓公稱霸，在征戰中俘獲他國女子很多，國內還有些罪犯女奴隸，把她們安置在妓女中，可進一步解決社會上一部分人的需要。
第三，吸引遊士。當時各國諸侯爭雄，齊國要稱霸，必須網羅人才，用遊談之士，管子相齊，已開布衣卿相之局，可是這些遊士大都是生活放蕩不羈的人，喜愛婦人與醇酒，於是開設妓院就成了吸引他們的一種手段。燕太子丹也有類似的做法，他為了招攬人才，吸引遊士，挑了一批美女安置在旅館中，每有賓客經過，就派這些美女招待、侍宿。
第四，供齊桓公娛樂。齊桓公好色，宮中的妻妾玩膩了，還要出來尋求刺激。《韓非子?外儲說右上》說：“桓公之伯也，內事屬鮑叔，外事屬管仲，被發而禦婦人，日遊於市”，就說明了齊桓公好冶遊。管仲創設妓院也有投齊桓公所好的成分。
劉秀對此亦是知之甚深，聽了陰麗華的回答，並沒有說什麼，至於他設了女閭，是存著一己之私還是全心為天下計，那就不得而知了。陰麗華對此也沒有過問。
這一年，劉陽八歲，師從經學大師桓榮，因其天資聰穎，又恭謹好學，甚得劉秀、桓榮等喜愛，往日裏每有疑問處，總愛請教陰麗華，可近日來劉陽異常沉默，顯得一副心事重的模樣。陰麗華為此特意打聽了一番，方知，原來幾日前劉輔跑去向劉陽炫耀了一番所學，用自己所學之得把劉陽問得啞口無言，進而為此得意不已，並加以嘲笑，劉陽因此深受打擊，卻未曾向陰麗華提及。
陰麗華這一日膳後獨留下劉陽，挽著他的小手漫步小道上，她問劉陽：“陽兒，近日尚在習《生民》？”
“尚在習《生民》。”劉陽似乎有些羞於回答。（《生民》出自《詩經》之《大雅》）
陰麗華聞言，笑道：“母妃聞玉姑姑言，陽兒常為桓先生讚許，此事可真？”