班固的二伯祖班斿，自幼讀書就刻苦用功，博學縱覽，非常有才華。左將軍史丹因為欣賞他：的才學，特地舉他為賢良方正，在朝廷上通過對策，被成帝授為議郎。他做事認真負責，又才華橫溢，不久就被遷為諫大夫、右曹中郎將並與西漢末年著名學者劉向共同校理秘閣藏書。班脖虛心好學，一絲不苟，很快脫穎而出。每次校書工作需要向漢成帝報告時，都由班脖親自負責。漢成帝對班脖的才學非常賞識，經常谘詢他應該讀些什麼書、哪些書有些什麼內容等等。班脖參加校閱皇家藏書，豐富了曆史文化知識，開闊了心胸，學問也越來越深厚廣博。
不僅如此，班脖最難得的殊榮在於成帝曾經賞賜給他皇家藏書的副本。當時皇家藏書並不外傳，連成帝的叔父東平思王劉宇向漢元帝請求把皇家藏書和《太史公書》賜給諸子也沒有獲得批準，由此可見班脖乃至班氏一族深得成帝的信任和器重。班脖既參與了典校秘書，又獲得賜書，這是班氏家族極大的榮耀。班氏家族所擁有的大量珍貴藏書為班氏家族的學人輩出奠定了基礎，同時也為班彪、班固父子寫作漢史提供了極其優越的文獻基礎。但這位班脖也是才華出眾卻壽命不長，較早離開了人世。
班況最小的兒子是班稚，也就是班固的祖父。班稚性格方正剛直、小心謹慎。因為是外戚子弟，他年紀輕輕便做了黃門郎中常侍，在皇宮內服務，主要負責傳達詔令。他按照規矩辦事，並不因為自己地位特殊而弄權要奸。成帝晚年因一直沒有子嗣，想立自己弟弟的兒子定陶王為太子，多次派人詢問近臣意見，別人都隨口應承，唯獨班稚謹慎至極，一直也不敢回答。成帝死後，定陶王即位，是為漢哀帝。哀帝因當初班稚沒有積極擁立自己，就把他降職為西河屬國都尉，後來他又遷任廣平相。
漢平帝即位後，王太後再度臨朝，王莽輔政。班家兄弟與王莽少年時同為外戚子弟，互相非常友善。班斿死時，王莽甚至為之修祖廟，贈送了許多車馬布帛。當王莽輔政之後，欲以文教致太平，派使者行風俗、采頌聲。當時群臣紛紛逢迎拍馬、偽報祥瑞，而班稚卻沒有任何表示，因此遭到了王莽親信大司空甄豐的誹謗，說他對於朝廷當時的政治現實不滿意。此時，幸虧王太後出麵為班稚講情，認為他盡管沒有宣揚朝廷的美政，但是處罰應該與上報災異的人區別對待，並明確說明他是“後宮賢家，我所哀也”，這就是王太後感念班婕妤的賢德所以對班家格外照顧。班稚因此免於處罰，但同一批的琅邪太守公孫閎因為言災害卻慘遭殺害了。險遭殺身之禍的班稚非常恐懼，為了在變幻莫測的政局中保全性命，他很快就上書陳恩謝罪，願意歸還朝廷守令的印綬，去做比較閑散的管理延陵的官。王太後也答應了他的請求，並讓他按照原定的級別待遇終老於延陵任上。大概也就是從此時起，班氏家族定居於扶風安陵。班氏一族在王莽當權期間雖然不顯於莽朝，卻也因此在王莽敗亡時未受牽連。
因為班稚的主動退讓，班氏家族暫時與政治中心保持了相當的距離。而經過班固祖父這一輩的經營，班氏一族具有了兩方麵的優良傳統。一方麵是家族子弟從小都熟讀經書，學問上的造詣令人羨慕。再加上擁有皇家所賞賜的獨家藏書，班氏成為了兩漢之際著名的儒學家族，家族子侄也多在濃厚的學術氛圍中接受熏陶。另外一方麵，長期的邊地生活和祖上傑出的文韜武略，又時時激勵著家族子侄的慷慨誌節，激發著他們注重然諾的任俠意氣，這些都深深影響了家族成員人生價值的追求與人生道路的選擇。