“什麼，一個私通公主的人也想封侯，簡直是荒唐至極。”霍光發火了。
上官桀懇求霍光：“大將軍幫幫他們這個忙吧！隻要給丁外人封了侯，他們就可以名正言順，光明正大地結婚了。這樣的好事，何樂不為呢？”霍光盯視著上官桀詰問：“你難道忘了高皇帝無功不能封侯的規定嗎？”上官桀說：“規定是規定，還不是大將軍一句話。”霍光告訴上官桀：“前時皇上要封金日磾將軍的兒子為侯爵，我就沒有同意，皇上也就罷了。現在再封一個私通公主的奸夫當侯爺，滿朝文武大臣還不口誅筆伐？”
上官桀當然知道霍光和劉弗陵因為金日磾的小兒子金建封侯的事鬧得十分不愉快。金日磾生前被劉徹封為秅侯，死後留下兩個兒子。一個叫金賞，一個叫金建，他們都是劉弗陵孩童時的好朋友。霍光和金日磾生前交情也很厚，還把女兒霍成君許配給了金建。金日磾長逝以後，金賞以長子的身份繼承了金日磾的侯爵之位，金建還是平民。劉弗陵覺得這對金建不公平，就和霍光商量給金建也封個侯爵。霍光說：“金日磾生前隻被封了一個爵位，死後被金賞繼承，再給金建封個爵位就不合理了。”劉弗陵說：“侯爵不侯爵，還不是憑你我一句話。”霍光說：“先帝有規定，非劉不能封王，無功不得封侯。”劉弗陵提醒霍光：“金建可是你未來的女婿呀！”霍光說：“女婿也不行！”劉弗陵隻得作罷。
霍光提起這事，上官桀想想也是，不過無法對蓋長公主交代，他進退兩難，又乞求霍光：“大將軍就格外開恩，封他算了，也算給我個麵子。”
霍光正色道：“咱們都是顧命大臣，帶頭破壞先帝的規定，以後再有人要求封侯怎麼辦？”上官桀有點惱怒了，說：“大將軍早就違背了先帝，支持那些文學、賢良在朝會上肆無忌憚地攻擊先帝的政策……這些破規逾製的事你都辦了，丁外人封侯這件小事算什麼？”
“這兩件事情怎麼能相提並論。一個是關乎國家興亡的大計方針，一個是給奸夫開方便之門。這事以後不要再提了。”
“難道沒有一點回旋餘地？”
“半點也沒有！”
“你也太霸道了，連蓋長公主也不給麵子。”
“是蓋長公主讓你來說情的？”
上官桀猶豫了一下，決定拿蓋長公主壓霍光：“難道長公主的事你也要頂著不辦嗎？”
霍光火了：“皇上封功臣之後金建為侯的事我頂著沒辦，為奸夫丁外人封侯這事我照樣不同意。你去告訴長公主，誰來說情，我霍光都不會破這個規矩。”
“我告訴你，丁外人封侯的事就這樣定了。”上官桀仗著和霍光特殊的親家關係，說話的口氣難免蠻橫。霍光把心裏的怒火強壓下去，平靜地勸導上官桀：“親家，咱們……”
上官桀氣得一跳而起，大喊著：“我不是你的親家，現在還輪不到你來教訓我。在孝武先帝時代，論官我是太仆，而你僅僅是個禦馬監；論俸祿我是中二千石，你才是比二千石。現如今，我是皇後的爺爺，你有資格教訓皇親國戚嗎？”
霍光再次壓下怒火，苦口婆心地說：“親家，你聽我說。”
“我聽你說沒用。”上官桀淩蔑譏嘲霍光，“你不同意我們瑩瑩當皇後，她不是照樣當了；你不同意封我兒子,我兒子不是照樣封了。我再告訴你一遍，丁外人封侯的事是長公主的意思。”說完，拂袖而去。
霍光終於忍耐不住了。他頭上的青筋暴起，抓起身旁擺放的一隻正在冒著青煙的熏爐摔下去，大喊著：“誰敢破壞先帝的封侯製度，我就罷誰的官。”
兩親家由此公開反目，矛盾步步升級，鬧出了一個反霍集團。