桓榮字春卿，沛郡龍亢人也。少學長安，習《歐陽尚書》，事博士九江朱普。貧窶無資，常客傭以自給，精力不倦，十五年不窺家園。至王莽篡位乃歸。會朱普卒，榮奔喪九江，負土成墳，因留教授，徒眾數百人。莽敗，天下亂。榮抱其經書與弟子逃匿山谷，雖常飢困而講論不輟，後復客授江淮間。
建武十九年，年六十餘，始辟大司徒府。時，顯宗始立為皇太子，選求明經，乃擢榮弟子豫章何湯為虎賁中郎將，以《尚書》授太子。世祖從容問湯本師為誰，湯對曰："事沛國桓榮。"帝即召榮，令說《尚書》，甚善之。拜為議郎，賜錢十萬，入使授太子。每朝會，輒令榮於公卿前敷奏經書。帝稱善。曰："得生幾晚！"會歐陽博士缺，帝欲用榮。榮叩頭讓曰："臣經術淺薄，不如同門生郎中彭閎，揚州從事皋弘。"帝曰："俞，往，女諧。"因拜榮為博士，引閎、弘為議郎。
車駕幸大學，會諸博士論難於前，榮被服儒衣，溫恭有蘊藉，辯明經義，每以禮讓相厭，不以辭長勝人，儒者莫之及，特加賞賜。又詔諸生雅吹擊磬，盡日乃罷。後榮入會庭中，詔賜奇果，受者皆懷之，榮獨舉手捧之以拜。帝笑指之曰："此真儒生也。"以是愈見敬厚，常令止宿太子宮。積五年，榮薦門下生九江胡憲侍講，乃聽得出，旦一入而已。榮嘗寢病，太子朝夕遣中傅問病，賜以珍羞、帷、帳、奴婢，謂曰："如有不諱，無憂家室也。"後病癒，復入侍進。
二十八年，大會百官，詔問誰可傅太子者，群臣承望上意，皆言太子舅執金吾原鹿侯陰識可。博士張佚正色曰："今陛下立太子，為陰氏乎？為天下乎？即為陰氏，則陰侯可；為天下，則固宜用天下之賢才。"帝稱善，曰："欲置傅者，以輔太子也。今博士不難正朕，況太子乎？"即拜佚為太子太傅，而以榮為少傅，賜以輜車、乘馬。榮大會諸生，陳其車馬、印綬，曰："今日所蒙，稽古之力也，可不勉哉！"榮以太子經學成畢，上疏謝曰："臣幸得侍帷幄，執經連年，而智學淺短，無以補益萬分。今皇太子以聰睿之姿，通明經義，觀覽古今，儲君副主莫能專精博學若此者也。斯誠國家福祐，天下幸甚。臣師道已盡，皆在太子，謹使掾臣汜再拜歸道。"太子報書曰："莊以童蒙，學道九載，而典訓不明，無所曉識。夫《五經》廣大，聖言幽遠，非天下之至精，豈能與於此！況以不才，敢承誨命。昔之先師謝弟子者有矣，上則通達經旨，分明章句，下則去家慕鄉，求謝師門。今蒙下列，不敢有辭，願君慎疾加餐，重愛玉體。"
三十年，拜為太常。榮初遭倉卒，與族人桓元卿同飢厄，而榮講誦不息。元卿嗤榮曰："但自苦氣力，何時復施用乎？"榮笑不應。及為太常，元卿嘆曰："我農家子，豈意學之為利乃若是哉！"
顯宗即位，尊以師禮，甚見親重，拜二子為郎。榮年逾八十，自以衰老，數上書乞身，輒加賞賜。乘與嘗幸太常府，令榮坐東面，設幾仗，會百官驃騎將軍東平王蒼以下及榮門生數百人，天子親自執業，每言輒曰"大師在是"。既罷，悉以太官供具賜太常家。其恩禮若此。
永平二年，三雍初成，拜榮為五更。每大射養老禮畢，帝輒引榮及弟子升堂，執經自為下說。乃封榮為關內侯，食邑五千戶。
榮每疾病，帝輒遣使者存問，太官、太醫相望於道。及篤，上疏謝恩，讓還爵士。帝幸其家問起居，入街下車，擁經而前，撫榮垂涕，賜以床茵、帷帳、刀劍、衣被，良久乃去。自是諸侯將軍大夫問疾者，不敢復乘車到門，皆拜床下。榮卒，帝親自變服，臨喪送葬，賜冢塋於首山之陽。除兄子二人補四百石，都講生八人補二百石，其餘門徒多至公卿。子郁嗣。
論曰：張佚訐切陰侯，以取高位，危言犯眾，義動明後，知其直有餘也。若夫一言納賞，志士為之懷恥；受爵不讓，風人所以興歌。而佚廷議戚援，自居全德，意者以廉不足乎？昔樂羊食子，有功見疑；西巴放麑，以罪作傅。蓋推仁審偽，本乎其情。君人者能以此察，則真邪幾於辨矣。
郁字仲恩，少以父任為郎。敦厚篤學，傳父業，以《尚書》教授，門徒常數百人。榮卒，郁當襲爵，上書讓於兄子汎，顯宗不許，不得已受封，悉以租入與之。帝以郁先師子，有禮讓，甚見親厚，常居中論經書，問以政事，稍遷侍中。帝自製《五家要說章句》，令郁校定於宣明殿，以侍中監虎賁中郎將。