霍顯當上了誥命夫人以後，三天兩頭地往宮裏跑，遠遠就和守宮禁衛打招呼：“我是來看望我的女兒皇後娘娘的。”“皇後娘娘請我吃飯來了！”禁衛們無不點頭哈腰地巴結她：“太夫人您請進！”“誥命夫人慢走！”霍顯感到空前的尊貴和殊榮。可是，她並不滿足於自己百倍的身價，當看到皇宮的富麗堂皇和宮裏人的豪華奢侈時，再次激起她要重建霍府的欲望。這個欲望在十年前她第一次進宮去看上官皇後時就萌生了，但礙於霍光，不敢提出重建大將軍府的宏偉計劃。霍光一走，她就像被放出籠子的一隻母老虎瘋狂地蹦跳起來。
要建造大將軍府，霍顯覺得王子方是最合適的監工。她問馮子都：“你知道王子方的下落嗎？”馮子都說：“我碰到過他。”霍顯怪罪說：“為什麼不讓他和你一起回來？”馮子都說：“王子方說不想再回來了。”霍顯說：“你沒有告訴他大將軍已經不在了。你辦事也太不利索了。告訴他，就說我讓他回來。”
“我已經回來了。”
霍顯回過身，看見王子方站在她身後，高興得邊打邊埋怨：“你這兩年上哪兒了，怎麼一去不回，想死我了。”王子方笑著說：“其實我就住在京城。這幾年朝廷裏發生的一切事我都知道。”霍顯問：“你都知道什麼？”王子方不笑了，臉色陰沉下來，歎了一聲說：“這次我本不該回來，可是想到你對我的恩寵，哪怕是遇到滅頂之災，我也願意和你共生死同患難。”“什麼滅頂之災？”霍顯瞪了王子方一眼，生氣地說：“你怎麼一回來就說這些不吉利的話。”王子方說：“外邊對霍家傳言不少……”霍顯最不愛聽的就是那些傳言，揮了揮手說：“你不用說我也知道，有人就是嫉妒我們霍家的尊榮。不說這個了，你回來得好，正好幫我辦一件大事。
”王子方對霍顯想什麼了如指掌，不等霍顯亮出底牌就說：“誥命夫人是不是要我監造霍大將軍府？”霍顯笑著說：“知我者王子方也。不過，我這次建造的大將軍府宅非同一般。”王子方開玩笑地問：“誥命夫人要造一座宮殿？”霍顯認真地說：“不敢說是宮殿，但從規模和氣派上要和宮殿一樣。而且什麼都要有，和未央宮、長樂宮一樣有花園、遊樂場，還要有像明渠、太液池那樣能坐船遊覽的湖泊，讓皇後回來省親像在宮裏一樣舒服。”王子方一聽畏縮了：“我可沒有建造過房子，就是一個豬圈我也不知道怎麼蓋。誥命夫人得另請高明！”霍顯想想也是，王子方雖然聰明，但不懂建築行業，隔行如隔山，大將軍府這樣浩大的工程如果在他手裏弄砸了無法向霍府的人交代。她突然想起，淳於衍說過她丈夫好像在東京幹過幾年大工程。她讓馮子都馬上把淳於衍夫婦找來，還特意備了幾個小菜在禦花園的涼亭上款待他們。
這是淳於衍第二次被釋放。廷尉認為淳於衍是謀害許皇後的凶手，可是皇帝不表態，他們隻好又把她放了。
酒過三巡，霍顯對淳於衍說：“依我看你丈夫就不要再去安池當那個小官了。”淳於衍以為霍顯食言，臉色頓時陰沉下來，不高興地問：“夫人是不是忘記了……”霍顯故意賣關子：“忘記什麼了？”李賞看著桌上的飯菜也在懷疑，莫非這個小宴就是霍顯對淳於衍替她毒死皇後的報償。如果真是那樣，他們不是什麼也沒有得到嘛！淳於衍戰戰兢兢地給她辦成了那件大事，為此還兩次坐牢，到頭來隻落了這麼一次小酒宴就算打發他們了。正想著，聽見霍顯對淳於衍說：“我可不是個忘恩負義的人。”“這還不是忘恩負義，什麼是忘恩負義？”李賞怨恨地看了霍顯一眼心裏抱怨著。霍顯早洞察透了淳於衍夫婦的心理，就把自己的打算和盤托出，還推心置腹地說：“咱們可是患難姐妹，有福共享有難同當。如今我如願以償，怎麼也不會忘記妹妹的功勞，也決不會食言對你的承諾。前幾年我第一次進宮，就有了要把霍府建成像那未央宮、長樂宮那樣宏偉氣派的宏願，現在我要實現這個計劃，想讓你丈夫來做總監工。你大概聽說了吧，我家的前任總管任宣讓我在皇上麵前一推薦，就被封為太中大夫了。隻要你丈夫監工幹得好，日後我提拔他當光祿大夫。我說到做到。”
淳於衍夫婦相信霍顯有那個能力，而且做官比當鹽池的總管高貴榮耀多了，兩人慌忙跪地謝恩。
建造新大將軍府的總管確定以後，接下來就是籌集資金。霍顯叫來賬房，大略算了一下，就目前霍府的積蓄遠遠實現不了這個宏偉計劃。霍顯又找來了霍雲和任宣，三人很快達成了共識，那就是賣官。他們偷偷行動，不到一年就賣出五百頂官帽子，拿到了幾十萬兩銀子。霍雲還放風要修繕大將軍府，送禮的、讚助的絡繹不絕，白花花的銀子堆滿了霍家的倉庫。
李賞按照未央宮的建築布局很快畫好了圖紙，經霍顯批準動了工。
兩年後，功臣街出現了一道新風景線——霍家的新官邸落成了。大將軍府煥然一新，高大的過街門樓上鑲嵌著黃底金字的“博陸宣成侯府”的匾額。官邸內有前後兩個院落。前院是住宅區，後院是遊樂區。住宅區又劃分四個宅院，分別是霍禹的“左將軍府”，霍山的“樂平侯府”和霍雲的“冠陽侯府”，最裏麵靠近後院的宅院是霍顯的住宅區。