久之，太守歐陽歙請為功曹。汝南舊俗，十月饗會，百里內縣皆齎牛酒到府宴飲。時臨饗禮訖，歙教曰："西部督郵繇延，天資忠貞，稟性公方，摧破奸凶，不嚴而理。今與眾儒共論延功，顯之於朝。太守敬嘉厥休，牛酒養德。"主簿讀教，戶曹引延受賜。惲於下坐愀然前曰："司正舉觥，以君之罪，告謝於天。案延資性貪邪，外方內員，朋黨構奸，罔上害人，所在荒亂，怨慝並作。明府以惡為善，股肱以直從曲，此既無君，又復無臣，惲敢再拜奉觥。"歙色慚動，不知所言。門下掾鄭敬進曰："君明臣直，功曹言切，明府德也。可無受觥哉？"歙意少解，曰："實歙罪也，敬奉觥。"惲乃免寇謝曰："昔虞舜輔堯，四罪鹹服，讒言弗庸，孔任不行，故能作股肱，帝用有歌。惲不忠，孔任是昭，豺虎從政，既陷誹謗，又露所言，罪莫重焉。請收惲、延，以明好惡。"歙曰："是重吾過也。"遂不宴而罷。惲歸府，稱病，延亦自退。
鄭敬素與惲厚，見其言許歙，乃相招去，曰："子廷爭繇延，君猶不納。延今雖去，其勢必還。直心無諱，誠三代之道。然道不同者不相為謀，吾不能忍見子有不容君之危，盍去之乎！"惲曰："孟軻以強其君之所不能為忠，量其君之所不能為賊。惲業已強之矣。障君於朝，既有其直，而不死職，罪也。延退而惲又去，不可。"敬乃獨隱於弋陽山中，居數月，歙果復召延，惲於是乃去，從敬止，漁釣自娛，留數十日。惲志在從政，既乃喟然而嘆，謂敬曰："天生俊士，以為人也。鳥獸不可與同群，子從我為伊、呂乎？將為巢、許，而父老堯、舜乎？"敬曰："吾足矣。初從生步重華於南野，謂來歸為松子，今幸得全軀樹類，還奉墳墓，盡學問道，雖不從政，施之有政，是亦為政也。吾年耄矣，安得從子？子勉正性命，勿勞神以害生。"惲於是告別而去。敬字次都，清志高世，光武連征不到。
惲遂客居江夏教授，郡舉孝廉，為上東城門候。帝嘗出獵，車駕夜還，惲拒關不開。帝令從者見面於門間。惲曰："火明遼遠"。遂不受詔。帝乃回從東中門入。明日，惲上書諫曰："昔文王不敢槃於游田，以萬人惟憂。而陛下遠獵山林，夜以繼晝，其於社稷宗廟何？暴虎馮河，未至之戒，誠小臣所竊憂也。"書奏，賜布百匹，貶東中門候為參封尉。後令惲授皇太子《韓詩》，侍講殿中。及郭皇后廢。惲乃言於帝曰："臣聞夫婦之好，父不能得之於子，況臣能得之於君乎？是臣所不敢言。雖然，願陛下念其可否之計，無令天下有議社稷而已。"帝曰："惲善恕己量主，知我必不有所左右而輕天也。"後既廢，而太子意不自安，惲乃說太子曰："久處疑位，上違孝道，下近危殆。昔高宗明君，吉甫賢臣，及有纖介，放逐孝子。《春秋》之義，母以子貴。太子宜因左右及諸皇子引愆退身，奉養母氏，以明聖教，不背所生。"太子從之，帝竟聽許。
惲再遷長沙太守。先是，長沙有孝子古初，遭父喪未葬，鄰人失火，初匍匐柩上，以身扞火，火為之滅。惲甄異之，以為首舉。後坐事左轉芒長，又免歸，避地教授，著書八篇。以病卒。子壽。
壽字伯孝，善文章，以廉能稱，舉孝廉，稍遷冀州刺史。時，冀部屬郡多封諸王。賓客放縱，類不檢節，壽案察之，無所容貸。乃使部從事專住王國，又徙督郵舍王宮外，動靜失得，即時騎驛言上奏王罪及劾傅相，於是藩國畏懼，並為遵節。視事三年，冀土肅清。三遷尚書令。朝廷每有疑議，常獨進見。肅宗奇其智策，擢為京兆尹。郡多強豪，奸暴不禁。三輔素聞壽在冀州，皆懷震竦，各相檢敕，莫敢幹犯。壽雖威嚴，而推誠下吏，皆願效死，莫有欺者。以公事免。復征為尚書僕射。
是時，大將軍竇憲以外戚之寵，威傾天下。憲嘗使門生齎書詣壽，有所請託，壽即送詔獄。前後上書陳憲驕恣，引王莽以誡國家。是時，憲征匈奴，海內供其役費，百憲及其弟篤、景並起第宅，驕奢非法，百姓苦之。壽以府臧空虛，軍旅未休，遂因朝會譏刺憲等，厲音正色，辭旨甚切。憲怒，陷壽以買公田誹謗，下吏當誅。侍御史何敞上疏理之曰："臣聞聖王辟四門，開四聰，延直言之路，下不諱之詔，立敢諫之旗，聽歌謠於路，爭臣七人，以自鑒照，考知政理，違失人心，輒改更之，故天人並應，傳福無窮。臣伏見尚書僕射郅壽坐於台上，與諸尚書論擊匈奴，言議過差，及上書請買公田，遂系獄考劾大不敬。臣愚以為壽機密近臣，匡救為職。若懷默不言，其罪當誅。今壽違眾正議，以安宗廟，豈其私邪？又台閣平事，分爭可否，雖唐、虞之隆，三代之盛，猶謂諤諤以昌，不以誹謗為罪。請買公田，人情細過，可裁隱忍。壽若被誅，臣恐天下以為國家橫罪忠直，賊傷和氣，忤逆陰陽。臣所以敢犯嚴威，不避夷滅，觸死瞽言，非為壽也。忠臣盡節，以死為歸。臣雖不知壽，度其甘心安之。誠不欲聖朝行誹謗之誅，以傷晏晏之化，杜塞忠直，垂譏無窮。臣敞謬豫機密，言所不宜，罪名明白，當填牢獄，先壽僵仆，萬死有餘。"書奏，壽得減死，論徙合浦。未行，自殺，家屬得歸鄉里。
贊曰：鮑永沈吟，晚乃歸正。志達義全，先號後慶。申屠對策，郅惲上書。有道雖直，無道不愚。
《後漢書》 南朝宋·范曄