班固在撰寫光武一朝君臣事跡期間，顯露出卓越的才華，得到漢明帝的賞識。漢明帝鑒於班固具有獨立修撰漢史的宏願，也希望通過班固進一步宣揚“漢德”，特下詔，讓他繼續完成所著史書。班固從私撰《漢書》到受詔修史，是一個重大轉折，對於《漢書》的完成是一個有力的推動。
竇融兄弟自從被光武帝劉秀封了爵位，便一直鎮守在河西一帶，往日的榮華富貴一點都沒有受到影響。但光武帝的信任與尊崇常常讓竇氏一門感到非常不安，於是，竇氏兄弟不斷上書光武帝，請求辭去鎮守河西的職務，想回到京城洛陽去侍奉皇帝。等到甘肅、四川一帶形勢完全穩定之後，公元36年，光武帝順水推舟發布詔令讓竇融與五郡太守一同回京師洛陽，劉秀為他們的回朝特別安排了盛大的歡迎宴會，將京城中的各位諸侯一一介紹給他。竇氏一門所受到的賞賜恩寵盛極一時。
有一次，光武帝和竇融閑聊的時候，光武帝很感興趣地問竇融：“你所上的奏章，文采斐然，都由誰主持奏章的寫作啊？”竇融老老實實地回答說：“都是我的從事班彪所作的。”
光武帝很早以前就聽說過班彪的才學，特地下令召見班彪，對他的才學非常讚賞。不久，司隸就將班彪推舉為茂才，官拜徐縣令。但因班彪身體狀況一直不好，隻能留在洛陽延醫治病也沒能到外地去赴任。
班彪對班固、班超兩兄弟的教育倒是一刻都沒有放鬆。班固的學問進展讓班彪尤為欣慰。班固從小就性情寬宏溫和，能容人，並從來不因為有一點進步沾沾自喜。九歲時，班固就能夠誦詩作賦作很好的文章，頗有文名。當時一些經師隻知道章句之學，皓首窮經不知所雲，但是班固所掌握的學問不是向某一家某一人學的，也不注重做一句一字的解釋，而是以追求大意為宗旨。班超活潑好動一點，也能言善辯，對於書傳涉獵之廣博不遜色於哥哥，隻是不肯下功夫寫文章、記誦經典，卻也是個胸有大誌的孩子。別看他平時大大咧咧，內心卻很孝順恭謹，居家常施行勤儉不以做事辛勞為恥辱。當時這種不重視章句的讀書人並不多，朝廷承認的經學就那麼數家，一旦講說應答不符合師法標準，那麼就算學問沒有入門，幻想通經致仕就是不可能的。班彪有時候頗為擔心他們未來的出路，但是又不忍心逼迫孩子去專門鑽研那些他自己也不大喜歡的師法家法、讖緯圖書。於是就在這種猶疑之中，兩個孩子一天天愈發博學多能了。
在家裏閑居的日子，班彪博覽群書，靜心思考，偶爾和誌趣相投的朋友談經論道倒也自得其樂。平時，班彪與尹敏最為親近友善，據說每次相見可以從早晨聊到晚上，直到忘了吃飯，忘了睡覺，他們倆都自認為像種子期和伯牙、莊周和惠施一樣的投合。這位尹敏是光武帝劉秀的老鄉，年輕時做過太學生，他最初修習《歐陽尚書》，後來又學了《古文尚書》，同時擅長《毛詩》《穀梁傳》和《左氏春秋》，非常博學。天下平定之後，光武帝因尹敏博通經書典籍，讓他校理圖讖，特意囑咐要他刪去王莽一朝著錄編排的圖讖目錄。尹敏卻回答說：“讖書恐怕不是聖人寫的，其中有許多接近淺俗的錯別字，很像世俗流行的言論，恐怕貽誤後人。”這可犯了光武帝的大忌諱，要知道光武帝之所以號令群雄，讖緯在關鍵時刻可是幫了大忙的啊。光武帝覺得他對待圖讖的態度很不認真嚴肅，雖說沒治他的罪，但也由此不再重用尹敏。班彪平時也不大談論當時俗儒最樂於研究的圖讖，年輕時候他為學一直追求的就是學識淵博而不俗陋，言辭實在而不浮華，所以他盡管經學修養很好但是並不尊崇某家某師一人的言論，也不迷信權威。班氏一族擁有的圖書當中也有少量圖讖，但班彪心目中始終認為從曆史的演變來看，圖讖應該是哀帝、平帝時期一些別有用心的人搞出來的東西。不過，盡管班彪不談讖緯，但是作為遠近聞名的學者，好多人都前來拜他為師或與他探討學問。