曹霑正要的就是曹頫這句話，急忙道：“既然你不願再認我這個侄子，我也不願高攀，我明日就搬出織造府。”
曹頫日思夜想就是如何能將曹霑趕出曹府，徹底斷絕他繼承江寧織造的道路，沒想到今天歪打正著竟由他本人提出來了。立刻大喜過望，扭身喝令焦大，讓他寫兩份與曹霑斷絕叔侄關係的協議書來。
在場眾人，包括焦大都暗暗替曹霑歎息，放著貴族子弟花團錦簇的日子不過，甘願出去受罪，何苦來！主人有命，焦大不敢不從，急急忙忙趕往府內，很快捧著兩張紙回來。曹霑接過他手中的筆就要簽字。
曹霑今日被曹頫擠兌出府，導火索是由自己而起，胤祥實在不忍心他就這樣被趕出織造府，大聲攔阻道：“曹公子，別急著簽字。”然後向曹頫嗬嗬冷笑道：“你別太得意，今日咱倆之間的事還沒完呢！看在八哥的麵子上，你指使下人毆殺本王侍衛，本王可以不計較，但你竟敢辱罵本王是烏龜王八蛋，本王如果成了烏龜王八蛋，皇上豈不是成了烏龜，身為人子，本王實在無法容忍你如此辱罵父皇。”然後又轉向胤禩道：“八哥，父皇可是你我共同的皇阿瑪，你還要縱容曹頫嗎？”
胤祥硬把曹頫辱罵自己的話，往康熙身上拉，但入情在理，胤禩再回護曹頫，等於昭示世人他不孝，想登皇位無異於癡人說夢了。內心暗罵胤祥，設定圈套讓我鑽，好歹毒呀！嘴上卻不得不隨聲應和：“大膽曹頫，竟敢辱罵本王的皇阿瑪，先將他重責四十大板，打入木籠囚車，明日檻送京師。”
曹頫暗想，還不如剛才遵循胤祥的話那樣處置自己呢，一轉眼又要多挨二十板子。他渾身癱軟，昏倒在地。胤禩身後過來兩名侍衛，將他架扶而去。胤祥又向胤禩建議，曹頫即將押往京城，織造府不可一日無主，莫若讓曹霑署理。
曆史上明文記載，自從曹頫祖父曹璽擔任江寧織造以來，祖孫三代四人落下巨額虧空，這是曹府被抄家的主因，如果由曹霑接任第五代江寧織造，等將來胤禛追繳虧空，他豈不成了替罪羊？曹霑越想越覺可怕，連連擺手道：“草民年幼無知，哪能承擔如此重任，請王爺收回諭令。”
如果換了旁人，由一介草民直接擔任從三品的江寧織造，早應該把哪兒是北都忘了，曹霑竟能誠惶誠恐，極力推辭，足見他可堪大任。這使胤禩對他也不免另眼相看。剛到南京時，胤禩就想把曹霑收為己用，正可借助這一時機讓他更對自己感恩戴德。不想讓好人都被胤祥當了，急忙勸道：“霑賢侄，你是怕朝中無人不好做官？你盡放寬心，內務府現由本王管轄，你還怕從何來？”
康熙兩個兒子同時封官許願，曹霑張口結舌，不知如何才能推辭掉江寧織造的差事了。