23歲那一年，班固的生活發生了巨大變化。這一年，他的父親班彪帶著諸多遺憾病逝。而出於種種現實原因，他們一家隻能返回老家扶風安陵鄉裏居住。首先，班彪去世之後，按照東漢的世俗禮節，守孝三年是作為兒子應該盡的義務。人死之後，入土為安，歸葬扶風安陵的祖墳是必然的。其次，班彪去世之後並沒有留下多少資產。班彪盡管斷斷續續擔任過一些職務，但是他生性清高，從來不徇私舞弊，像一些貪官那樣蠅營狗苟地幹斂財的勾當。他除了賦閑在家，也就是當當三公府邸的高級參謀，雖然名聲大，但並沒有帶來多少收入。僅有的幾次外放機會，原本也都是比較實惠的職務，或因為身體原因或因為其他原因，班彪都沒有做多久，這麼多年坐吃山空，等到班彪去世之後，家裏已經沒有多少值錢的東西了。除掉安葬費用，班固一家隻能在老家維持溫飽生活而已。
這種情況下，班固隻能離開太學，在家裏承擔起贍養寡母、教養弟妹的責任。但是於他而言，閑居在鄉裏的日子並不好過，沒有豐富的書籍可供他閱讀參考，也沒有誌同道合的學人可以講經論義、寫詩作賦，他倍感寂寞與壓抑。與此同時，有消息陸續傳來，他留在洛陽的同學誰誰通過什麼途徑登上了仕途、誰誰又被朝中哪個大宮征用了，不僅如此，有些人已經幹得有模有樣引起了皇帝的重視。而沉潛在鄉裏的班固想出仕卻又苦於沒有合適的門路，於是他寫了《幽通賦》陳述吉凶性命來表明自己的心誌。賦文寫道：班氏本是顓頊的後裔，家世中葉在楚國也非常顯赫，楚亡後離開了故土，雄踞北方晉、代之地聲名遠揚。漢皇十世時官居高位，在天子京城也是顯赫一時。但因王莽罪惡滔天滅亡了漢室，我父班彪遇禍亂隻能高歌遠行，終於保全自己一家並且為百姓做出了表率，他像上古仁人一樣逃避時凶。我們班家的先祖是多麼賢能英明，窮困顯達之中都能救濟黎民。可歎我從此勢單力薄，恐怕無路成名而使祖業斷送。難道我的才能不能夠營謀先人之業嗎？我隻能為家世的衰微而深深遺憾落寞。
幽室隱居使我思緒萬千，歲月悠悠使我心緒渺遠，我不敢與有德行之人相提並論，但也怕玷辱先祖而恪守善行。我的心魂常常與神靈交會，精誠往往發於深夜之中，睡夢中我登山遠眺仿佛看到了幽穀的神人，他手執葛萬交給我並且回望峻穀告訴我勿墜深淵。清晨醒來，我仰臥冥思，心智恍惚，未知吉凶。但黃帝離我遙遠，無人可問，我隻好憑借讖書，在心中猜測神人的意思。書中說夢中登高遇神預示著道術能夠通達而不會迷路，葛萬纏連於樹木而歌詠《南風》是安樂的象征，心中恐懼如臨深淵乃是《詩經·小雅》中兩篇詩的勸誡。夢境已經給了我吉祥的象征，神明又給我以警戒，我怎麼能不及早登上仕途去追趕同輩的足跡呢，時光倏忽而逝不會再來。雖承神靈訓誡，但我心中仍然有疑問，我隻能久久盤桓卻難以前進。隻有天地才能夠長久而無窮無盡，孤苦的人生在天地麵前是多麼的短暫啊。紛繁的世間險阻重重，人生路上艱難太多，但我的智慧又太少。上古聖賢遇到困難能夠解決，凡夫俗子豈能輕易同他們一樣！當年衛叔武握發迎接他的哥哥成公，成公反而把他當作敵人射死。管仲要射死仇敵公子小白，桓公即位後竟命其為宰相。事物的變化是多麼難以預料啊，誰能預測出它的終始！雍造不滿國君卻最先受賞，丁公施恩惠反被殺戮；栗姬因為受寵而招致災難，王膺由於憂傷卻獲得幸運。世事乖違競至於此，塞北老翁卻能夠認識到禍福相倚的道理。單豹調理體內五髒為猛虎所傷，張毅外修禮儀卻發內熱而死。有人說中庸之道可以使人免於災難，可是顏回、冉有又都不得意。桀溺招子路跟隨自己，認為孔子之道無濟於世，子路不避亂世，終於在亂世中被殺。雖遊學聖賢之門也未得救助，即使赴湯蹈火又有何補益呢？
過於剛強必遭凶險，免於禍亂還有賴於聖人之道；萬物的生氣皆發於根柢，根柢強壯才能枝葉茂盛。魍魎竟至責備影子，這都是未得大道的體現。重黎昌明於高辛之時，楚國在長江一帶稱強；秦國由於伯益而揚威於六國；齊國因三禮而興盛。求仁得仁，何其誠信，仰視天道，亦同此理。商紂暴虐殺害三仁，周武王得賢人故成天子；驪姬殘酷致使孝子身亡，晉文公歸國獲得大位；周武王還師終成天命，重耳醉行正與天命相合。神龍流涎於夏帝王廷，經過三代就亡國了。漢宣帝宮中有雌雞化雄，過了五世，終於釀成災禍。天道悠悠而人世短暫，邈遠冥然不可盡知，必須借助卜筮而謀諸鬼神，借此以窮古今通幽微。陳完少年時占卜得知將來必占有齊國，史書上有周公用龜甲占卜的記載。周宣王、曹伯陽都在下人的夢境中預示了他們的興敗，魯成公、衛靈公是在銘謠中預示了諡號。叔向的母親聽到伯石的哭聲而知道他是亡晉之人，許負從周亞夫的麵相看出他以後必定會餓死。