爽私謂彪曰："諸君堅爭不止，禍必有歸，故吾不為也。"議罷，卓使司隸校尉宣播以災異奏免琬、彪等，詣闕謝，即拜光祿大夫。十餘日，遷大鴻臚。從入關，轉少府、太常，以病免。復為京兆尹、光祿勛，再遷光祿大夫。三年秋，代淳于嘉為司空，以地震免。復拜太常。興平元年，代朱俊為太尉，錄尚書事。及李傕、郭汜之亂，彪盡節衛主，崎嶇危難之間，幾不免於害。語在《董卓傳》。及車駕還洛陽，復守尚書令。
建安元年，從東都許。時天子新遷，大會公卿，兗州刺史曹操上殿，見彪色不悅，恐於此圖之，未得宴設，託疾如廁，因出還營。彪以疾罷。時，袁術僣亂，操托彪與術婚姻，誣以欲圖廢置，奏收下獄，劾以大逆。將作大匠孔融聞之，不及朝服，往見操曰："楊公四世清德，海內所瞻。《周書》父子兄弟罪不相及，況以袁氏歸罪楊公。《易》稱'積善餘慶'，徒欺人耳。"操曰："此國家之意。"融曰："假使成王殺邵公，周公可得言不知邪？今天下纓緌搢紳所以瞻仰明公者，以公聰明仁智，輔相漢朝，舉直厝枉，致之雍熙也。今橫殺無辜，則海內觀聽，誰不解體！孔融魯國男子，明日便當拂衣而去，不復朝矣。"操不得已，遂理出彪。
四年，復拜太常，十年免。十一年，諸以恩澤為侯者皆奪封。彪見漢祚將終，遂稱腳攣不復行，積十年。後子脩為曹操所殺，操見彪問曰："公何瘦之甚？"對曰："愧無日磾先見之明，猶懷老牛舐犢之愛。"操為之改容。
脩字德祖，好學，有俊才，為丞相曹操主簿，用事曹氏。及操自平漢中，欲因討劉備而不得進，欲守之又難為功，護軍不知進止何依。操於是出教，唯曰："雞肋"而已。外曹莫能曉，脩獨曰："夫雞肋，食之則無所得，棄之則如可惜，公歸計決矣。"乃令外白稍嚴，操於此回師。脩之幾決，多有此類。修又嘗出行，籌操有問外事，乃逆為答記，敕守舍兒："若有令出，依次通之。"既而果然。如是者三，操怪其速，使廉之，知狀，於此忌脩。且以袁術之甥，慮為後患，遂因事殺之。
脩所著賦、頌、碑、贊、詩、哀辭、表、記、書凡十五篇。
及魏文帝受禪，欲以彪為太尉，先遣使示旨。彪辭曰："彪備漢三公，遭世傾亂，不能有所補益。耄年被病，豈可贊惟新之朝？"遂固辭。乃授光祿大夫，賜几杖衣袍，因朝會引見，令彪著布單衣，鹿皮冠，杖而入，待以賓客之禮。年八十四，黃初六年卒於家。自震至彪，四世太尉，德業相繼，與袁氏俱為東京名族雲。
論曰：孔子稱"危而不持，顛而不扶，則將焉用彼相矣"。誠以負荷之寄，不可以虛冒，崇高之位，憂重責深也。延、光之間，震為上相，抗直方以臨權枉，先公道而後身名，可謂懷王臣之節，識所任之體矣。遂累葉載德，繼踵宰相。信哉，"積善之家，必有餘慶"。先世韋、平，方之蔑矣。
贊曰："楊氏載德，仍世柱國。震畏四知，秉去三惑。賜亦無諱，彪誠匪忒。脩雖才子，渝我淳則。
《後漢書》 南朝宋·范曄