赤眉軍進入安陵前，班超的祖父班稚和外祖父樊叔皮做出了一個驚人的決定，他們命家丁虞四月駕著輜車，帶著樊家女公子和班府公子，在赤眉進入安陵前夕的一刹那間，匆匆踏上逃亡行程，從而為班、樊兩家保住了一點血脈。
馬車飛奔出城邑北門，他們先逃到池陽，然後順著涇水邊的驛道，一路向西北飛奔而去。這一年，班彪二十二歲，虞四月隻有二十一歲，而班超的阿母樊儇那時僅有十二歲。
他們從左馮翊的池陽出發，先是順著涇水旁的官道一路向西北。然後過安定郡的陰槃、臨涇等城，翻越凡亭山，過朝那城，巔沛流離、曆經艱辛，總算有驚無險，順利到達高平，並投靠了河東雄獅隗囂。
隗囂恰在高平，三輔名人班彪來投，他很是高興，將班彪延為門下客。
於是，班彪和樊儇便在高平安頓了下來。此時的隗囂，剛剛將盤踞三水的盧芳打得逃向北地荒漠中，投入匈奴的懷抱。當時的隗囂已下安定，並完全據有河東、隴右大地，正是他最得意、最輝煌的時候，僅門下賓客就有數千人。
班彪投到隗囂門下，終日無所事事，隻能在長史府從事抄抄寫寫的零碎雜活，隗囂從來沒有單獨召見過他，更別說問計於他了。
雖然倍受冷遇，但從戰亂中逃出，總算有了安定之所，班彪雖有懷才不遇的感覺，但還是耐心地呆了下來。沒想到的是，這一呆就是四年。雖然他們住在一起，但班彪是真正的讀書人，對樊儇秋毫無犯，一直以兄妹禮事之。
隗囂是當時割據一方的豪傑，他雖然不用班彪，但卻令族女隗靈與樊儇一起嫁給班彪。於是，建武五年（公元29年）四月，班彪便按隗囂令，娶了年已十九歲的隗靈和十六歲的樊儇。
隗靈與樊儇都是知書達禮、美麗賢惠的女人，班彪得二女，自然是人生一大幸事。可班彪過的卻一點不開心，隗囂器量太小，並非有為之主。班彪到河東整整四年，僅是隗囂門下賓客。平時，班彪根本就無法接近隗囂，更別說出什麼謀劃了。
一次，隗囂破例很虛心地問策於班彪，“叔皮乃三輔名士，史學巨摯，且是前漢世族之後。今天下大亂，不知叔皮對前朝興廢之事，有什麼心得可以教吾？”
班彪聞言，心裏很是激動。來河東四年了，今日終於有機會直陳已見。於是，他懷著對故國的深深眷念，也帶著想報答隗囂收留自己的感恩之心，當然內心同時也充滿自信，侃侃說道：
“大王，自更始之亂始，天下紛爭，群雄四起，看似已經改天換地，其實漢祚未滅，天下向漢，他日必興。今建武帝與成家帝（注：即蜀漢稱帝的公孫述）均漢室後裔，臣以為建武大帝已據有中原，且仁德愛民，更有先漢氣象，天下已漸歸心。大王擁河東之眾，如順應天命，匡扶漢室，必留名青史……”
“汝知往而不知來，真是一派胡言！”
沒等班彪激情滿懷地說完自己所思，隗囂實在聽不下去了，已經拂袖而起，怫然說道，“天命，哼，叔皮迂腐至極！前漢姓劉，故愚民隻記得劉氏姓名年號，汝至於據此就認為漢家一定複興麼？王命是什麼，難道天下僅能姓劉？當年秦失其鹿，而天下共逐之。劉季不過偶爾得之，故後便有漢朝。吾想問汝，秦亡之前，黑衣秦民安知有漢朝乎？！”