班氏之先，與楚同姓，令尹子文之後也。子文初生，棄於瞢中，而虎乳之。楚人謂乳“穀”，謂虎“於菟”，故名穀於菟，字子文。楚人謂虎“班”，其子以為號。秦之滅楚，遷晉、代之間，因氏焉。
始皇之末，班壹避地於樓煩，致馬、牛、羊數千群。值漢初定，與民無禁，當孝惠、高后時，以財雄邊，出入弋獵，旌旗鼓吹，年百餘歲，以壽終，故北方多以“壹”為字者。
壹生孺。孺為任俠，州郡歌之。孺生長，官至上谷守。長生回，以茂林為長子令。回生況，舉孝廉為郎，積功勞，至上河農都尉，大司農奏課連最，入為左曹越騎校尉。成帝之初，女為婕妤，致仕就第，資累千金，徒昌陵。昌陵後罷，大臣名家皆占數於長安。
況生三子：伯、斿、稚。伯少受《詩》於師丹。大將軍王鳳薦伯宜勸學，召見宴昵殿，容貌甚麗，誦說有法，拜為中常侍。時，上方鄉學，鄭寬中、張禹朝夕入說《尚書》、《論語》於金華殿中，詔伯受焉。既通大義，又講異同於許商，遷奉車都尉。數年，金華之業絕，出與王、許子弟為群，在於綺襦紈絝之間，非其好也。
家本北邊，志節慷慨，數求使匈奴。河平中，單于來朝，上使伯持節迎於塞下。會定襄大姓石、李群輩報怨，殺追捕吏，伯上狀，因自請願試守期月。上遣侍中中郎將王舜馳傳代伯護單于，並奉璽書印綬，即拜伯為定襄太守。定襄聞伯素貴，年少，自請治劇，畏其下車作威，吏民竦息。伯至，請問耆老父祖故人有舊恩者，迎延滿堂，日為供具，執子孔禮。郡中益弛。諸所賓禮皆名豪，懷恩醉酒，共諫伯宜頗攝錄盜賊，具言本謀亡匿處。伯曰：“是所望於父師矣。”乃召屬縣長吏，選精進掾史，分部收捕，及它隱伏，旬日盡得。郡中震慄，鹹稱神明。歲余，上征伯。伯上書願過故郡上父祖冢。有詔，太守、都尉以下會。因召宗族，各以親疏加恩施，散數百金。北州以為榮，長老紀焉。道病中風，既至，以侍中光祿大夫養病，賞賜甚厚，數年未能起。
會許皇后廢，班婕妤供養東宮，進侍者李平為婕妤，而趙飛燕為皇后，伯遂稱篤。久之，上出過臨侯陽，伯惶恐，起視事。
自大將軍薨後，富平、定陵侯張放、淳于長等始愛幸，出為微行，行則同輿執轡；入侍禁中，設宴飲之會，及趙、李諸侍中皆引滿舉白，談笑大噱。時乘輿幄坐張畫屏風，畫紂醉踞妲己作長夜之樂。上以伯新起，數目禮之，因顧指畫而問伯：“紂為無道，至於是乎？”伯對曰：“《書》雲‘乃用婦人之言’，何有踞肆於朝？所謂眾惡歸之，不如是之甚者也。”上曰：“苟不若此，此圖何戒？”伯曰：“‘沉湎於酒’，微子所以告去也；‘式號式呼’，《大雅》所以流連也。《詩》、《書》淫亂之戒，其原皆在於酒。”上乃喟然嘆曰：“吾久不見班生，今日復聞讜言！”放等不懌，稍自引起更衣，因罷出。時，長信庭林表適使來，聞見之。
後上朝東宮，太后泣曰：“帝間顏色瘦黑，班侍中本大將軍所舉，宜寵異之，益求其比，以輔聖德。宜遣富平侯且就國。”上曰：“諾。”車騎將軍王音聞之，以風丞相御史奏富平侯罪過，上乃出放為邊都尉。後復證入，太后與上書曰：“前所道尚未效，富平侯反覆來，其能默乎？”上謝曰：“請今奉詔。”是時，許商為少府，師丹為光祿大夫，上於是引商、丹入為光祿勛，伯遷水衡都尉，與兩師並侍中，皆秩中二千石。每朝東宮，常從；及有大政，俱使諭指於公卿。上亦稍厭游宴，復修經書之業，太后甚悅。丞相方進復奏，富平侯竟就國。會伯病卒，年三十八，朝廷愍惜焉。
斿博學有俊材，左將軍史丹舉賢良方正，以對策為議郎，遷諫大夫、右曹中郎將，與劉向校秘書。每奏事，斿以選受詔進讀群書。上器其能，賜以秘書之副。時書不布，自東平思王以叔父求《太史公》、諸子書，大將軍白不許。語在《東平王傳》斿亦早卒，有子曰嗣，顯名當世。
稚少為黃門郎中常侍，方直自守。成帝季年，立定陶王為太子，數遣中盾請問近臣，稚獨不敢答。哀帝即位，出稚為西河屬國都尉，遷廣平相。
王莽少與稚兄弟同列友善，兄事斿而弟畜稚。斿之卒也，修緦麻，賻賵甚厚。平帝即位，太后臨朝，莽秉政，方欲文致太平，使使者分行風俗，采頌聲，而稚無所上。琅邪太守公孫閎言災害於公府，大司空甄豐遣屬馳至兩郡諷吏民，而劾閎空造不詳，稚絕嘉應，嫉害聖政，皆不道。太后曰：“不宣德美，宜與言災害者異罰。且後宮賢家，我所哀也。”閎獨下獄誅。稚懼，上書陳恩謝罪，願歸相印，入補延陵園郎，太后許焉。食故祿終身。由是班氏不顯莽朝，亦不罹咎。