吳家不願意，上官家族也不放棄，經過幾天的商榷之後，最後達成共識：除非上官超的轉世小孩恢複前世的記憶並且主動願意回到上官家，否則的話小孩隻能是在吳家。
有個這個共識，上官老爺子在臨走之前就動了心思，悄悄地將上官家族的至寶靈眼神珠融入到了上官超轉世孩童的體內，並施以特定的秘法將其隱藏封印，利用靈眼神珠的特殊能力，能夠讓上官超的轉世在三年後恢複前世的記憶，到時候再將靈眼神珠取回。
就這樣又過了一段時間，殺死上官超又被上官超的棺材殺死的那位門生一脈的家主得知了上官超轉世的事情，心中起了歹念。因為那個被上官超棺材砸死的門生是他的二兒子。
上官超的轉世最終還是被吳家門生那一脈的家主暗中殺害了，上官家族的至寶就這樣落到了吳家門生這一脈的家主手中。
也就是在上官超的轉世被殺害前的一個月，上官老爺子突然間就去世了，可以說是暴斃而亡，風水界中也有說法是上官老爺子遭受到了因果善惡的懲罰而死去。
由於上官老爺子死得太突然，所以根本就沒有來得及將靈眼神珠的事情告訴上官家族的其他人，唯一知道靈眼神珠事情的隻有上官老爺子的好友，也就是諸葛邈的爺爺諸葛玄。
不過諸葛玄也沒有將這個事情告訴上官家族，因為一年之後就是昆侖三百年之約，各大家族都在忙著準備這個事情。
昆侖之行後，上官家族因為未按要求安排族人進入昆侖秘境，遭受到了詛咒的懲罰，家族中開始接二連三的出現各種變故，直至慢慢地走向沒落。
當時諸葛玄也不知道出於什麼考慮，一直沒有將靈眼神珠的事情告訴上官家族。
再說得到靈眼神珠那位吳家門生一脈的家主，因為靈眼神珠的氣運，花了三年的時間就圖謀到了吳家直係一脈家主之位，並一直綿延至今。
正所謂善有善報惡有惡報，吳家雖然有靈眼神珠氣運的護持，不過還是遭受到了詛咒，來自諸葛家族的詛咒。
諸葛玄在感知自己大限將至前，或許是善心大發，決定為上官家族做點事情，這樣也好去見九泉之下的老友。
諸葛玄耗盡自身近百年的修為，給吳家人下了一個詛咒——吳家人永遠不能成為風水師，除非主動將靈眼神珠歸還給上官家族。
諸葛玄死後，詛咒應驗，幽幽幾千年，吳家雖然積累了無數的財富，但是卻沒有一個人走上修煉風水一途，沒有一個人成為風水師，雖然吳家人很想走入風水一途，但是沒有人能夠打破這個詛咒。
諸葛玄死前，隻將靈眼神珠的事情告訴了他的大兒子，也就是諸葛家族的下一代家主。
事情到這裏就告一段落，上官家族因昆侖之行的問題出現了分裂內亂，走向沒落，最終悄然退出了華夏十大風水家族之列，逐漸的淹沒在曆史的塵埃之中。