張敞到山陽郡後，隨時留心，常遣丞吏到劉賀家中去看，都說劉賀已然是個廢人。張敞不放心，以探視之名來到劉賀家中。劉賀忙出來迎接，竟要向張敞下跪，還用的是拜祖先之禮。張敞忙道：“不可不可！”
劉賀道：“我是罪臣，使君代表天子，我跪使君即是跪天子。”說著，硬是要跪下去。
張敞哭笑不得，隻得跟著跪下去，兩人對拜了一下。張敞原本侍奉過劉賀，對劉賀還是了解的，不想，現在的劉賀早已經失了往日的風采，衣服像是胡亂套在身上，鞋子都不是一隻，膚色青黑，眼睛眯著，整個臉都凹陷進去，胡須眉毛稀少，兩腿佝僂著走路，行走十分不便，讓人看了難免唏噓。
張敞道：“大王向來可好？”
劉賀道：“好，好，好！吃的穿的都不缺，我在這裏看看書寫寫字，挺好。當今天子負有盛名，是天子百姓之福啊。”說罷，嘴角竟然有流出涎來。
張敞道：“是啊，大王說的對。我到這裏後，發現這裏貓頭鷹很多，整日叫的人心煩，不知大王有沒有注意到。”
劉賀笑道：“啊，以前我在長安，一隻貓頭鷹也見不到，回來時，東行到濟陽，才又聽到貓頭鷹的叫聲，這東西古怪的很，天子腳下就不敢去，專門來這種地方，可能覺得我快死了，等著來吃我的肉。”
張敞聽他說話昏亂，笑道：“大王身體康健，何來此言。下官正好有一件事想請大王的主意，令尊昌邑哀王的歌舞宮女都沒有兒女，留守在哀王的墓地，請你放她們回家吧，守墓的人也足夠了。”
劉賀哈哈笑道：“這些女婢，本來就不能當人看，如花花草草，主人死了，他們也就該陪葬，有病的不應醫治，相互打架殺傷的也不應處置，她們早早死去也算是對得起主人了，使君為什麼要為一群花花草草求情呢？”
張敞聽了，大為驚詫，不再多言，便拱手告辭。劉賀癱坐在地上，也不起來相送，似乎要睡著了。張敞走後，劉賀才起身，擦去口水，連歎三聲道：“劉病已呀劉病已，我還能幹什麼，你要這樣來戲弄我！”
張敞將劉賀的起居行止一一秘奏給病已，病已看了，唏噓不已，歎道：“命運自有定數，讓他從昌邑移居海昏，封為海昏侯，讓他得食租稅，安心養老去吧。”
這海昏在豫章郡，離昌邑十分遙遠。劉賀在使者麵前手舞足蹈的接了旨，內心卻憤懣不能言，帶著家眷行李，逆流來到海昏，在這個偏遠鄉野，經常泛舟遨遊，倒也遠離煩憂，得善終，此是後話。