時，尚書令左雄議改察舉之制，限年四十以上，儒者試經學，文吏試章奏。廣復與敞、虔止書駁之，曰：
臣聞君以兼覽博照為德，臣以獻可替否為忠。《書》載稽疑，謀及卿士；《詩》美先人，詢於芻蕘。國有大政，必議之於前訓，咨之於故老，是以慮無失策，舉無過事，竊見尚書令左雄議郡舉孝廉，皆限年四十以上，諸生試章句，文吏試箋奏。明詔既許，復令臣等得與相參。竊惟王命之重，載在篇典，當令縣於日月，固於金石，遺則百王，施之萬世。《詩》云："天難諶斯，不易惟王。"可不慎與！蓋選舉因才，無拘定製。六奇之策，不出經學；鄭、阿之政，非必章奏。甘、奇顯用，年乖強仕；終、賈揚聲，亦在弱冠。漢承周、秦，兼覽殷、夏，祖德師經，參雜霸軌，聖主賢臣，世以致理，貢舉之制，莫或回革。今以一臣之言，劃戾舊章，便利未明，眾心不厭。矯枉變常，政之所重，而不訪台司，不謀卿士。若事下之後，議者剝異，異之則朝失其便，同之則王言已行。臣愚以為可宣下百官，參其同異，然後覽擇勝否，詳采厥衷。敢以瞽言，冒乾天禁，惟陛下納焉。
帝不從。
時，陳留郡缺職，尚書史敞等薦廣。曰："臣聞德以旌賢，爵以建事，'明試以功'《典謨》所美，'五服五章'，天秩所作，是以臣竭其忠，君豐其寵，舉不失德，下忘其死。竊見尚書僕射胡廣，體真履規，謙虛溫雅，博物洽聞，探賾窮理，《六經》典奧，舊章憲式，無所不覽。柔而不犯，文而有禮，忠貞之性，憂公如家。不矜其能，不伐其勞，翼翼周慎，行靡玷漏。密勿夙夜，十有餘年，心不外顧，志不苟進。臣等竊以為廣在尚書，劬勞日久，後母年老，既蒙簡照，宜試職千里，匡寧方國。陳留近郡，今太守任缺。廣才略深茂，堪能撥煩，願以參選，紀綱頹俗，使束脩守善，有所勸仰。"
廣典機事十年，出為濟陰太守，以舉吏不實免。復為汝南太守，入拜大司農。漢安元年，遷司徒。質帝崩，代李固為太尉，錄尚書事。以定策立桓帝，封育陽安樂鄉侯。以病遜位。又拜司空，告老致仕。尋以特進征拜太常，遷太尉，以日食免。復為太常，拜太尉。
延熹二年，大將軍梁冀誅，廣與司徒韓縯、司空孫朗坐不衛宮，皆減死一等，奪爵土，免為庶人。後拜太中大夫、太常。九年，復拜司徒。
靈帝立，與太傅陳蕃參錄尚書事，復封故國。以病自乞。會蕃被誅，代為太傅，總錄如故。
時年已八十，而心力克壯，繼母在堂，朝夕瞻省，傍無几杖，言不稱老。及母卒，居喪盡哀，率禮無愆。性溫柔謹素，常遜言恭色。達練事體，明解朝章。雖無謇直之風，屢有補闕之益。故京師諺曰："萬事不理問伯始，天下中庸有胡公。"及共李固定策，大議不全，又與中常侍丁肅婚姻，以此譏毀於時。
自在公台三十餘年，歷事六帝，禮任甚優，每遜位辭病，及免退田裡，未嘗滿歲，輒復升時。凡一履司空，再作司徒，三登太尉，又為太傅。其所辟命，皆天下名士。與故吏陳蕃、李鹹並為三司。蕃等每朝會，輒稱疾避廣，時人榮之。年八十二，熹平元年薨。使五官中朗將持節奉策贈太傅、安樂鄉侯印綬，給東園梓器，謁者護喪事，賜冢塋於原陵，諡文恭侯，拜家一人為郎中。故吏自公、卿、大夫、博士、議郎以下數百人，皆縗絰殯位，自終及葬。漢興以來，人臣之盛，未嘗有也。
初，楊雄依《虞箴》作《十二州二十五官箴》，其九箴亡闕，後涿郡崔駰及子瑗又臨邑侯劉騊駼增補十六篇，廣復繼作四篇，文甚典美。乃悉撰次首目，為之解釋，名曰《百官箴》，凡四十八篇。其餘所著詩、賦、銘、頌、箴、吊及諸解詁，凡二十篇。
熹平六年，靈帝思感舊德，乃圖畫廣及太尉黃瓊於省內，詔議郎蔡邕為其頌雲。
論曰：爵任之於人重矣，全喪之於生大矣。懷祿以圖存者，仕子之桓情；審能而就列者，出身之常體。大紆於物則非己，直於志則犯俗，辭其艱則乖義，徇其節則失身。統之，方軌易因，險塗難御。故昔人明慎於所受之分，遲遲於岐路之間也。如令志行無牽於物，臨生不先其存，後世何貶焉？古人以宴安為戒，豈數公之謂乎？
贊曰：鄧、張作傅，無咎無譽。敏正疑律，防議章句，胡公庸庸，飾情恭貌。朝章雖理，據正或橈。
《後漢書》 南朝宋·范曄