卓後入關，留傕守洛陽，而俊與山東諸將通謀為內應。既而懼為卓所襲，乃棄官奔荊州。卓以弘農場懿為河南尹，守洛陽。俊聞，復進兵還洛，懿走。俊以河南殘破無所資，乃東屯中牟，移書州郡，請師討卓。徐州刺史陶謙遣精兵三千，余州郡稍有所給，謙乃上俊行車騎將軍。董卓聞之，使其將李傕、郭汜等數萬人屯河南拒俊。俊逆擊，為傕、汜所破。俊自知不敵，留關下不敢復前。
及董卓被誅，傕、汜作戰，俊時猶在中牟。陶謙以俊名臣，數有戰功，可委以大事，乃與諸豪傑共推俊為太師，因移檄牧伯，同討李傕等，奉迎天子。乃奏記於俊曰：
徐州刺史陶謙、前楊州刺史周乾、琅邪相陰德、東海相劉馗、彭城相汲廉、北海相孔融、沛相袁忠、太山太守應劭、汝南太守徐璆、前九江太守服虔、博士鄭玄等，敢言之行車騎將軍河南尹莫府：國家既曹董卓，重以李傕、郭汜之禍，幼主劫執忠良殘敝，長安隔絕，不知吉凶。是以臨官尹人，搢紳有識，莫不憂懼，以為自非明哲雄霸之士，曷能克濟禍亂！自起兵已來，於茲三年，州郡轉相顧望，未有奮擊之功，而互爭私變，更相疑惑。謙等並共諮諏，議消國難。僉曰："將軍君侯，既文且武，應運而出，凡百君子，靡不顒顒。"故相率厲，簡選精悍，堪能深入，直旨鹹陽，多持資糧，足支半歲，謹同心腹，委之元帥。
會李傕用太尉周忠、尚書賈詡策，征俊入朝。軍吏皆憚入關，欲應陶謙等。俊曰："以君召臣，義不俟駕，況天子詔乎！且傕、汜小豎，樊稠庸兒，無他遠略，又勢力相敵，變難必作。吾乘其間，大事可濟。"遂辭謙議而就傕征，復為太僕，謙等遂罷。
初平四年，代周忠為太尉，錄尚書事。明年秋，以日食免，復行驃騎將軍事，持節鎮關東。未發，會李傕殺樊稠，而郭汜又自疑，與傕相攻，長安中亂，故俊止不出，留拜大司農。獻帝詔俊與太尉楊彪等十餘人譬郭汜，令與李傕和。汜不肯，遂留質俊等。俊素剛，即日發病卒。
子晧，亦有才行，官至豫章太守。
論曰：皇甫嵩、朱俊並以上將之略，受脤倉卒之時。及其功成師克，威聲滿天下。值弱主蒙塵，獷賊放命，斯誠葉公投袂之幾，翟義鞠旅之日，故梁衍獻規，山東連盟，而舍格天之大業，蹈匹夫之小諒，卒狼狽虎口。為智士笑。豈天之長斯亂也？何智勇之不終乎！前史晉平原華嶠，稱其父光祿大夫表，每言其祖魏太尉歆稱"時人說皇甫嵩之不伐，汝豫之戰，歸功朱俊，張角之捷，本之於盧植，收名斂策，而己不有焉。蓋功名者，世之所甚重也。誠能不爭天下之所甚重，則怨禍不深矣"。如皇甫公之赴履危亂，而能終以歸全者，其致不亦貴乎！故顏子願不伐善為先，斯亦行身之要與！
贊曰：黃妖沖發，嵩乃奮鉞。孰是振旅，不居不伐。
俊捷陳、潁，亦弭於越。言肅王命，並遘屯蹶。
《後漢書》 南朝宋·范曄