但胡宗憲的快樂畢竟是短暫的。鄉野裏的生活雖然平淡而悠閑，但胡宗憲還是有點放不下，他總覺得內心十分委屈，也有點失落，鄉親們大約也聽到了一些風言風語吧，見到他總有點躲躲閃閃，目光也遊離不定。胡宗憲十分委屈，很想借助點什麼來標明自己的“正身”。從性格上來說，胡宗憲除了極愛麵子之外，也是一個閑不住的人，多年的戎馬倥傯，使得他很難耐下性子無所事事。後來胡宗憲想：還是造一座牌坊吧，我胡宗憲，畢竟是一堂堂正正的朝廷命官。於是胡宗憲再次召集人馬，在龍川宗祠的對岸大興土木。等到牌坊快完工的時候，胡宗憲突然又有點擔心，擔心自己官場失勢後的大興土木會招人非議。後來，胡宗憲靈機一動，在經表自己的同時，把同宗本家的胡富也捎帶了進來。胡富也是龍川人，曾是1478年的進士，後來擔任了朝廷的戶部尚書。而胡宗憲本人則是1538年的進士。胡宗憲給這個牌坊命名為“奕世尚書坊”。“奕世”取自於《國語?周語》中的一句話：“奕世載德，不忝前人。”意思是在盛世推行道德，沒有辱沒前人。這樣的初衷，正是胡宗憲想表達的。牌坊的大中額枋間的花板上，刻有“太子太保胡富”、“太子太保胡宗憲”。牌坊上一手漂亮的書法是胡宗憲請當朝著名的書法家文征明所寫。
牌坊很快就落成了，那天是一個陽光燦爛的日子，胡宗憲在鄉裏父老的一片讚歎聲中，親自為牌坊揭牌，雖然胡宗憲在講話中一口一個“前德大賢”，但他在心裏還是有抑製不住的得意。畢竟，自己還是這塊土地上誕生的最佳人物。胡宗憲一輩子都是一個很在乎別人品藻的人，其實又何止是他呢？徽州文化乃至中國文化熏陶出來的每一個人，都尤其在乎父老鄉親的評價。
很快，一年過去了，春天又來了，陽光明媚，胡宗憲帶著幾個隨從攀登了不遠處的大屏山。很長時間沒有這樣運動了，盡管年過半百的胡宗憲爬得氣喘籲籲，但他還是在隨從的幫助下登臨了山頂。站在大屏山上，極目遠眺，清風拂麵，胡宗憲感到從未有過的快慰和興奮，他感到自己的思想天馬行空，神遊八極，甚至連久違了的詩情也蓬勃出來。
回到家中，雖然已經很累了，但胡宗憲還是興奮得睡不著，他讓人拿來筆墨紙硯，夜深人靜時，賦成詩一首：
春晴無日不登山，曲徑崎嶇費躋攀。
馥馥岩花迎我笑，欣欣壁草為誰顏？
金山半出青霄上，乳水中流白石間。
落日半煙清興杳，沉吟此地不知還。
平心而論，胡宗憲這首詩寫得不算太好。但看得出來，這位昔日的朝廷重臣在回到故鄉之後，原先那種沉鬱的心情也像春天的天氣一樣慢慢回暖了。這一天，算是胡宗憲最開心的日子了。
天有不測風雲。雖然胡宗憲退出了政治舞台，但他在龍川所做的一切，無不在朝廷的掌控之中。朝廷監視的目光從沒有放過他。在胡宗憲回到龍川老家不長的一年多時間裏，發生了一件事情，可以說是直接導致了胡宗憲的毀滅。這件事，也就是胡宗憲在龍川附近的汪村所建造的“金鑾殿”事件。
關於胡宗憲偷造“金鑾殿”的事情，曆史上有很多傳說。這同樣也是一宗曆史的迷案。現在，當年胡宗憲建造的“金鑾殿”早已被洪水衝得片磚不存，所以關於胡宗憲在回到故裏之後私自建造的這幢豪華建築，現在已無從稽考。傳說是這樣的——胡宗憲在平定了倭寇之後，皇帝批準他回家探望年邁的母親。胡宗憲在見到母親之後，出於虛榮，便大誇北京金鑾殿的富麗堂皇，引得母親心津蕩漾，非要胡宗憲造個金鑾殿給她看看。於是胡宗憲便瞞著朝廷，以總督七省漕運的機會，調撥軍糧作為費用，並讓徽州木工胡三化假扮其公子，攜其進宮，偷偷地考察了金鑾殿的建造工藝。萬事俱備之後，胡宗憲開始大興土木了，在離龍川不遠的瀛洲汪村登源河畔，建造了一座有九十九根木柱、九十九級台階、九進廳院、九間門樓的“金鑾殿”。待到“金鑾殿”落成的那一天，胡宗憲派人讓轎子抬著母親前去參觀“金鑾殿”。這樣的行為可謂是興師動眾了。很快，胡宗憲造“金鑾殿”之事被績溪縣令知道，他趕緊向上反映，說胡宗憲挪用軍餉，圖謀不軌。胡宗憲得知這一消息後，大驚失色，忙將汪華之像請進“宮殿”。朝廷很快派人來調查，胡宗憲母親把責任全部攬在自己身上後服毒自盡，胡宗憲被押解回京，接受朝廷的進一步調查。