徐羨之，字宗文，東海郯人也。祖寧，尚書吏部郎，江州刺史，未拜卒。父祚之，上虞令。羨之少為王雅太子少傅主簿，劉牢之鎮北功曹，尚書祠部郎，不拜，桓修撫軍中兵曹參軍。與高祖同府，深相親結。義旗建，高祖版為鎮軍參軍，尚書庫部郎，領軍司馬。與謝混共事，混甚知之。補琅邪王大司馬參軍，司徒左西屬，徐州別駕從事史，太尉咨議參軍。義熙十一年，除鷹揚將軍、琅邪內史，仍為大司馬從事中郎，將軍如故。高祖北伐，轉太尉左司馬，掌留任，以副貳劉穆之。
初，高祖議欲北伐，朝士多諫，唯羨之默然。或問何獨不言，羨之曰："吾位至二品，官為二千石，志願久充。今二方已平，拓地萬里，唯有小羌未定，而公寢食不忘。意量乖殊，何可輕豫。"劉穆之卒，高祖命以羨之為吏部尚書、建威將軍、丹陽尹，總知留任，甲仗二十人出入。轉尚書僕射，將軍、尹如故。
十四年，大司馬府軍人朱興妻周坐息男道扶年三歲，先得癇病，周因其病發，掘地生埋之，為道扶姑女所告，正周棄市刑。羨之議曰："自然之愛，虎狼猶仁。周之凶忍，宜加顯戮。臣以為法律之外，故尚弘物之理。母之即刑，由子明法，為子之道，焉有自容之地。雖伏法者當罪，而在宥者靡容。愚謂可特申之遐裔。"從之。
高祖踐阼，進號鎮軍將軍，加散騎常侍。上初即位，思佐命之功，詔曰："散騎常侍、尚書僕射、鎮軍將軍、丹陽尹徐羨之，監江州豫州之西陽新蔡諸軍事、撫軍將軍、江州刺史華容侯王弘，散騎常侍、護軍將軍作唐男檀道濟，中書令、領太子詹事傅亮，侍中、中領軍謝晦，前左將軍、江州刺史宜陽侯檀韶，使持節、雍梁南北秦四州荊州之河北諸軍事、後將軍、雍州刺史關中侯趙倫之，使持節、督北徐兗青三州諸軍事、征虜將軍、北徐州刺史南城男劉懷慎，散騎常侍、領太子左衛率新淦侯王仲德，前冠軍將軍、北青州刺史安南男向彌，左衛將軍灄陽男劉粹，使持節、南蠻校尉佷山子到彥之，西中郎司馬南郡宜陽侯張邵，參西中郎將軍事、建威將軍、河東太守資中侯沈林子等，或忠規遠謀，扶贊洪業；或肆勤樹績，弘濟艱難。經始圖終，勛烈惟茂，並宜與國同休，饗茲大賚。羨之可封南昌縣公，弘可華容縣公，道濟可改封永修縣公，亮可建城縣公，晦可武昌縣公，食邑各二千戶；韶可更增邑二千五百戶，仲德可增邑二千二百戶；懷慎、彥之各進爵為侯，粹改封建安縣侯，並增邑為千戶；倫之可封霄城縣侯，食邑千戶；邵可封臨沮縣伯，林子可封漢壽縣伯，食邑六百戶。開國之制，率遵舊章。"
羨之遷尚書令、揚州刺史，加散騎常侍。進位司空、錄尚書事，常侍、刺史如故。羨之起布衣，又無術學，直以志力局度，一旦居廊廟，朝野推服，鹹謂有宰臣之望。沈密寡言，不以憂喜見色。頗工弈棋，觀戲常若未解，當世倍以此推之。傅亮、蔡廓常言："徐公曉萬事，安異同。"
高祖不豫，加班劍三十人。宮車晏駕，與中書令傅亮、領軍將軍謝晦、鎮北將軍檀道濟同被顧命。少帝詔曰："平理獄訟，政道所先。朕哀荒在疚，未堪親覽。司空、尚書令可率眾官月一決獄。"
帝後失德，羨之等將謀廢立，而廬陵王義真輕動多過，不任四海，乃先廢義真，然後廢帝。時謝晦為領軍，以府舍內屋敗應治，悉移家人出宅，聚將士於府內。鎮北將軍、南兗州刺史檀道濟先朝舊將，威服殿省，且有兵眾，召使入朝，告之以謀。事將發，道濟入宿領軍府。中書舍人邢安泰、潘盛為內應，其日守關。道濟領兵居前，羨之等繼其後，由東掖門雲龍門入，宿衛先受處分，莫有動者。先是帝於華林園為列肆，親自酤賣，又開瀆聚土，以像破崗，率左右唱呼引船為樂。是夕，寢於龍舟，在天淵池。兵士進殺二人，又傷帝指。扶帝出東閣，收璽綬。群臣拜辭，衛送故太子宮，遷於吳郡。侍中程道惠勸立第五皇弟義恭，羨之不許。遣使殺義真於新安，殺帝於吳縣。時為帝築宮未成，權居金昌亭，帝突走出昌門，追者以門關擊之倒地，然後加害。
太祖即阼，進羨之司徒，余如故，改封南平郡公，食邑四千戶，固讓加封。有司奏車駕依舊臨華林園聽訟，詔曰："政刑多所未悉，可如先二公推訊。"
元嘉二年，羨之與左光祿大夫傅亮上表歸政，曰："臣聞元首司契，運樞成務；臣道代終，事盡宣翼。冕旒之道，理絕於上皇；拱己之事，不行於中古。故高宗不言，以三齡為斷；冢宰聽政，以再期為節。百王以降，罔或不然。陛下聖德紹興，負荷洪業，憶兆顒顒，思陶盛化。而聖旨謙挹，委成群司。自大禮告終，鑽燧三改，大明佇照，遠邇傾屬。臣等雖率誠屢聞，未能仰感，敢藉品物之情，謹因蒼生之志。伏願陛下遠存周文日昃之道，近思皇室締構之艱，時攬萬機，躬親朝政，廣辟四聰，博詢庶業，則雍熙可臻，有生幸甚。"上未許。羨之等重奏曰："近寫下情，言為心罄，奉被還詔，鑒許未回。豈惟愚臣，秉心有在，詢之朝野，人無異議。何者？形風四方，實系王德，一國之事，本之一人。雖世代不同，時殊風異，至於主運臣贊，古今一揆。未有渾心委任，而休明可期，此之非宜，布自遐邇。臣等荷遇二世，休戚以均，情為國至，豈容順默。重披丹心，冒昧以請。"上猶辭。羨之等又固陳曰："比表披陳，辭誠俱盡，詔旨沖遠，未垂聽納，三復屏營，伏增憂嘆。臣聞克隆先構，幹蠱之盛業；昧旦丕顯，帝王之高義。自皇宋創運，英聖有造，殷憂未闕，艱患仍纏。賴天命有底，聖明承業，時屯國故，猶在民心。泰山之安，未易可保，昏明隆替，系在聖躬。斯誠周詩夙興之辰，殷王待旦之日，豈得無為拱己，復玄古之風，逡巡虛挹，徇匹夫之事。伏願以宗廟為重，百姓為心，弘大業以嗣先軌，隆聖道以增前烈。愚瞽所獻，情盡於此。"上乃許之。羨之仍遜位退還私第，兄子佩之及侍中程道惠、吳興太守王韶之等並謂非宜，敦勸甚苦，復奉詔攝任。