郭聖通與劉輔被幽禁的消息不脛而走，眾臣鑒於如今天下一統，對劉秀的決定皆三緘其口，絕口不提，唯獨素來心直口快的韓歆，為此在朝會上直接問了劉秀，為何幽禁郭聖通。
劉秀為此陡然變臉，沉著臉說此事隻有他的理由，旁人無需知曉。
韓歆卻並未就此放下此事，他直諫說郭聖通為後十餘載，勞苦功高，若郭聖通並非罪不容誅，讓劉秀大可不必小題大做。
當時劉秀聽了韓歆所言，不悅地對韓歆說，暫且不說他素來處事公正，隻說處置誰是他的決定，與韓歆並沒有關係，說罷拂袖離開了。
這件事很快在當日便傳遍了宮內外，當劉義王聽了之後，一個計劃頓時油然而生。
第二日，宮內外流傳著這樣一個謠言—韓歆與郭聖通年少時曾兩心相悅，卻因郭聖通的舅舅劉揚而錯失彼此，這些年情絲未斷，卻未相言。
建武十五年（39年）正月，韓歆上書劉秀，說劉秀有違天意，不久將會遇到莊稼歉收出現饑民，韓歆指天畫地，言辭急切。
劉秀對宮裏的流言也有所耳聞，隻是他並未將此放在心上，自然也並沒有讓萬福去追查，然而韓歆如今這番言辭，讓他十分不喜的同時也生出了疑心，覺得韓歆為了讓他寬恕郭聖通才如此大膽地拿社稷戲言。為了慎重起見，劉秀決定讓太史令觀察天象是否有異常，而太史令的回複卻是一切正常。正月二十三日，劉秀正式頒詔，將韓歆免職遣送回鄉。即便如此，劉秀還是覺得不解氣。於是，他又下了一道詔書，派使者去路上繼續追責韓歆。
按照漢法，對於有罪貶謫的官員，如果在路上被詔書責問，就是逼其認罪自殺。司隸校尉鮑永一再為韓歆求情，劉秀都沒有答應。韓歆與他的兒子韓嬰在路上接到責問詔書，當即伏劍自殺。
韓歆一向名氣很大，死於無罪，大家都不滿，劉秀也後悔了自己一時衝動。為了彌補前過，他下詔對韓家追賜金錢、糧食，又令有司以大司徒之禮安葬，並對其家屬予以安慰撫恤。
罷免了韓歆，劉秀任命汝南太守歐陽歙當大司徒。
這時，匈奴的侵擾掠奪一天比一天厲害，州、郡無力禁止。二月，派遣吳漢率領馬成、馬武等北上打擊匈奴。遷徙雁門郡、代郡、上穀郡的官民六萬餘人，安置到居庸關、常山關以東，以避開匈奴的騷擾。匈奴左部於是又轉移到邊塞以內居住。朝廷為此擔憂，在邊塞增派武裝部隊，每個據點達數千人。
建武十五年(公元39年)三月，巴蜀悉平，大司馬吳漢幾次上書:請求封王子。大司空竇融、固始侯李通、膠東侯賈俊、高密侯鄧禹等，紛紛奏稱:定號位，廣藩輔，尊宗廟，重社稷，當立王子。
劉秀這一次沉吟點頭。他共有11個兒子，郭王後有五子:劉強、劉輔、劉康、劉延、劉焉，陰貴人生5子:劉陽、劉蒼、劉荊、劉衡、劉京，許美人生一子:劉英。十一個兒子中，除嫡長子劉強立為皇太子外，其餘皆無封號。