皇帝的詔令一下，嚴光的確揚名了，各地官員四處打聽嚴光的下落。不久，齊國（封國，今山東泰山以北）的官員來報告說：“沂河邊有個男子，獨居於山穀中，身披羊皮，經常坐在河邊釣魚，有幾分像畫像上描繪的人，隻是不敢肯定。”劉秀一聽，精神大振，認為此人八成是嚴光。於是，立即派出使者，備上專門聘請賢人的車輛，帶上表示尊貴的玄色絲帛，前去迎接那位垂釣的男子。使者見了“釣翁”，奉上禮物，可“釣翁”連眼皮也不抬一下，更不通姓名，隻說是“山野之人，誌在江湖”，拒絕應召。無奈光武帝決心已下，一連三次派使者去請，非要把嚴光請來不可。出於無奈，嚴光最後隻好跟隨使者來到了長安。
光武帝見嚴光終於來了，甚是高興，一見麵，又是拉手，又是擁抱，顯得十分親熱。而嚴光推說旅途勞頓，亟須休息，不願與光武帝多說話。光武帝沒法，隻好先把他安排在皇家的館舍中居住，一切生活用品及膳食全部由皇宮提供。
侯霸也是嚴光在太學裏結識的朋友。聽說嚴光來了，首先派人去拜訪他。誰料嚴光對來人說了一串難聽的話，令侯霸氣急敗壞，便跑到光武帝那裏去告狀。
光武帝十分了解嚴光的性格和用意，便親自去驛館看望嚴光。嚴光知道皇帝要來了，便躺在床上睡覺。
他呼吸平穩、悠長，好像真是在白日做夢。等了許久，光武帝弄不清他是真睡還是假睡，便走過去拍拍他的肚子說：“老同學，醒醒吧，你能屈尊幫我治理一下天下多好啊。”嚴光沒有回答，隻是翻了翻身，又過了好久，才微睜雙眼，有氣無力地說：“士各有誌，何必苦苦相逼。”光武帝沒法，隻得歎息著走了。
過了幾天，光武帝又把嚴光接到宮裏。兩人同吃同住，一起回憶當年在太學裏的往事，細數同窗的變故，感歎世事的變化，從容談吐，十分投機。談笑一直延續到晚上，光武帝便留嚴光在宮中過夜，並與自己同床共寢。睡到半夜，光武帝迷迷糊糊地感到有個東西壓在自己的肚子上，還有一股淡淡的泥土味。用手一摸，原來是嚴光的一隻腳。光武帝本想把這隻腳推開，但又擔心是嚴光對自己能否真正禮賢下士、與人同甘共苦的考驗，隻得忍著肚皮上的酸痛，度過了這難熬的一夜。
不久，光武帝麵授嚴光為諫議大夫。嚴光並不謝恩，也不履行職責，隻是對光武帝說：“你讓我走，咱們還是昔日的朋友。你讓我留在這裏做什麼諫議大夫，反倒傷了和氣。”光武帝見嚴光說得如此坦誠，知道即使留下了人，也留不住心，隻好派人送他回桐廬故裏，去過那林泉生活。