劉邦率大軍到定陶安頓下來，他與張良、陳平二人秘密計議。劉邦道：“現在楚已滅亡，戰事平息了，軍權可不能再留在韓信之手。可是我怕他不肯交權，二位愛卿有何對策？”
陳平道：“韓信自從平齊之後，就顯示出了自大之心，從他挾大軍迫使大王封賞他，可見一斑。確實不宜讓他再掌虎符，但直接要回他軍權的話，確實不易，就怕萬一逼急了他，他會起兵叛變。”
張良道：“我倒不是這樣看。韓信出身寒微，一朝富貴，才會驕傲自大，但他看來不會有不臣之心。否則他在齊國的時候，大可擁兵自立，與大王和項羽來個鼎足三分了。他既然助大王滅楚，可見他依舊是懷有一片忠心。所以依我看來，隻須直接向他要回虎符即可。”
劉邦眉頭深鎖，心中仍有憂慮。陳平就說：“大王盡管去見韓信一試，到時讓荊俠士守衛在大王身邊，觀看動靜，再作應變。”劉邦點頭同意。
有了定奪後，劉邦帶上荊光，以及數名侍從，就直奔韓信的大營。那時，韓信正在處理一些軍中事務。劉邦突然駕臨，守衛也來不及入內通報，劉邦便已帶著隨從直入韓信的帳內。
韓信一見漢王駕到，慌忙放下手中的竹簡，離座而出，跪迎道：“大王駕臨，有失遠迎，請大王恕罪！”
劉邦親自攙扶起他說：“將軍何須客氣，你與寡人的情誼，無須行此大禮。”
韓信道：“這是君臣之禮，不可免。”
劉邦笑著拍了拍韓信之手，韓信則連忙奉劉邦上座。荊光則侍立在後，其餘侍從到兩旁邊上垂首而立。
劉邦首先對韓信說：“將軍屢建大功，今得已平楚，寡人當永誌不忘。”
“大王言重。”
“如今應該是與民休息之時，不須再勞師了。所以寡人想將軍當繳還兵符，還鎮齊地吧。”
劉邦突發此語，使韓信大為意外，一時不知用何言辭拒絕，僵坐那兒。
劉邦問道：“將軍怎麼了？”
韓信遲疑不決，荊光在旁道：“莫非將軍不欲繳還兵符，另有圖謀？”
韓信陡然聽見荊光說出這番話來，更加措手不及，慌忙起身道：“臣絕無他圖，大王說得對，現在當是休兵養民的時候。”他立即去取來兵符印信，交還給劉邦。劉邦接過印信，說道：“將軍好生休養幾天，便回封地去吧。”韓信連隨答應，就送劉邦出去。
劉邦回到行宮，陳平又來見駕，劉邦告知他已把兵符取回，並已吩咐韓信回齊就國。可是劉邦剛說完，陳平卻道：“大王不可讓韓信回齊。”
“為何？”
“齊地廣大，是富庶之國，讓韓信回齊就國，隻怕他日久有變。”
劉邦被陳平提醒，忙道：“卿之言有理，但是寡人當初許其封王，而且平楚之役，他立下大功，怎可將他王爵剝削？”
陳平道：“大王已是天下之主，諸侯分封當由大王決定。況且臣隻是請大王將他另封他處，不是削爵。如果他不肯，大王就有藉口對付他了。”
劉邦一聽，果然是好。自從齊國事件以來，劉邦就對韓信更加疑慮，他認為天目子當初說的，有可能成真。韓信是“三絕星”之一，必有危及自己的一天，因此他始終不能對韓信釋疑。現在陳平提出把韓信封地遷徙，正合心意。但究竟遷到哪裏呢？劉邦費了一番心思，終有計較。