1949年10月任人民革命軍事委員會副總參謀長，後代理總參謀長。1949年10月下旬軍委會議決定，聶榮臻協助中央和軍委領導人，部署人民解放軍繼續解放西南地區和東南沿海島嶼，肅清國民黨殘餘武裝和土匪。
1950年初，中國人民解放軍從陸軍單一軍種走向諸軍兵種合成的現代化建軍道路。主持總參謀部工作的聶榮臻就軍事機關及學校等問題給毛澤東寫報告：繼續加強海軍、空軍司令部建設，籌建炮兵、裝甲兵、工程兵司令部;總參謀部應增設通訊、軍訓、軍校部;總後勤部應設立軍需、軍械、財務、運輸、衛生部;籌建總幹部管理部;加強航空、防空、測繪、機要學校、軍醫大學等院校建設;籌建炮兵、工兵學校;籌建陸軍大學(即軍事學院)，使之成為建設正規化國防軍的培訓中心，培養高級軍事幹部。這些建議很快得到了毛澤東等中央領導人的批准，並被陸續組織實施。
在正規化、現代化建設方面，聶榮臻還狠抓了軍隊的編制、裝備和文化、掃盲工作，使中國人民解放軍武器裝備和編制上雜亂狀況有了較大的改觀，部隊戰士們的文化程度普遍達到了高小以上水平，有些達到中學或更高的程度，為掌握現代化技術裝備和開展軍事科學研究打下了良好的基礎。其間，聶榮臻還主持了人民解放軍大規模精簡整編工作，壓縮兵員定額，精簡機關，充實連隊，並向地方輸送了大批骨幹，為三十三年後的百萬大裁軍起了借鑑作用。
韓戰爆發後，聶榮臻負責中國人民志願軍出國作戰的部署、訓練、運輸、供應、補兵、輪換等工作，日夜忙碌，有時幾天睡不了覺。1952年秋，聶榮臻終因勞累過度，昏倒在辦公室里，被送進醫院。病情稍好，他就急著出院工作。直到抗美援朝戰爭結束，在毛澤東一再催促下，才去外地休養治療。
1954年，聶榮臻任中央人民政府人民革命軍事委員會副主席，主管軍工生產和軍隊的裝備工作。1955年，聶榮臻被授予中華人民共和國元帥軍銜和一級八一勳章、一級獨立自由勳章、一級解放勳章。這以後，佩戴元帥軍銜的聶榮臻壯心不已，日日夜夜操勞在祖國的科學技術戰線上。
20世紀50年代中期，聶榮臻被中共中央確定為具體領導和組織新中國科技工作的負責人，1956年又被任命為國務院副總理，主管科學技術工作。以戰略家的智慧，首先抓制定科技方針與科技規劃工作，親自參與領導國內外700多位專家制定了長達600多萬字的十二年規劃綱要(草案)，對工業、農業、國防和其他科學技術領域，進行了全面的規劃和安排。
與此同時，聶榮臻向xx提出方案，建議研製少量的飛彈、核武器，掌握必要的自衛手段，以打破帝國主義國家對我國的核訛詐;使常規武器配套，不斷加強陸、海、空軍的現代化裝備。該方案在xx立即獲通過。不久，聶榮臻受命領導研製“兩彈”任務。第二年，他又受命領導研製人造衛星工作。他積極組建飛彈研究院和核武器、飛機、艦船、電子設備、人造衛星以及其他兵器的研究機構、試驗基地和國防科技高等院校。同時，他還採取“將全國的科技力量相對集中、形成拳頭，進行突破”的戰略措施，使科技戰線獲得一次次突破性成就。
20世紀60年代初，在國內遇到嚴重困難，蘇聯撤走全部專家、停止一切技術援助的情況下，聶榮臻先後兩次向中共中央和毛澤東、周恩來等領導人寫報告，明確提出“兩彈一星”必須堅持“攻關”，並進一步強調必須堅持“自力更生為主，力爭外援和利用資本主義國家已有的成果為輔”的方針。這一遠見卓識的方針，得到了毛澤東、周恩來的贊同和支持，並得以實施。經過幾年艱苦努力，終於在1964年6月，中國成功發射了自行研製的第一枚中近程地對地飛彈，1964年10月16日第一顆核子彈爆炸成功，之後又連續研製成功飛彈核武器、氫彈，並於1970年4月24日，成功發射第一顆人造地球衛星，自此，《東方紅》樂曲響徹全宇宙。在組織實施許多重大科技項目過程中，聶榮臻多次深入現場進行調查研究和指導工作。“兩彈一星”的研製成功，凝聚了聶榮臻的大量心血，標誌著中國國防科技事業取得了突破性成就。
在“文化大革命”中，戎馬一生的聶榮臻元帥也沒有能夠倖免受到衝擊，“炮轟聶榮臻”、批判“華北山頭主義”、“二月逆流”等等莫須有的帽子把聶榮臻壓得難以抬頭。然而，接近70高齡的聶榮臻髫發勵志，白首不衰，在十分困難的情況下堅定不移地同林彪、“四人幫”進行鬥爭，並依舊眷戀祖國的科技事業和人民軍隊建設，仍然心繫黨，心繫國家大事，並和其他老一輩革命家一道，為徹底粉碎“四人幫”作出了巨大貢獻。
1977年8月，聶榮臻復任xx副主席，重新投身到軍隊革命化、現代化建設之中。1978年8月在全國民兵工作會議上，強調要堅持人民戰爭的思想。1979年提出，武器裝備現代化要依靠自力更生、大力協同的思想，同時主張精簡整編，走精兵強國之路。
1987年，聶榮臻因病從工作崗位退下來，在病重期間，仍十分關心黨、國家和軍隊建設，擁護黨的路線、方針、政策，期望偉大的祖國繁榮昌盛，完全統一。1992年5月14日22時43分，聶榮臻的心臟停止了跳動，參與締造新中國的最後一顆帥星隕落了!在生命的最後時刻，聶榮臻說出了自己的遺願：
“我已經93歲了，入黨70年，從沒脫離過黨的崗位，為黨奮鬥終生。我堅信黨的改革開放政策十分正確，堅信走有中國特色的社會主義道路十分正確。我很想多看看幾十年為之奮鬥的社會主義事業興旺發達的喜人形勢，也很想多聽聽祖國科技事業振奮人心的好訊息;我作為一位老共產黨員，衷心地希望全黨同志在黨中央領導下，同心協力地為建設繁榮富強的社會主義而奮鬥;衷心地希望全軍同志在xx領導下進一步鞏固國防、保衛和平;我更希望全國科技工作者牢記科技興國的重任，努力攀登世界高科技的崇山峻岭，為國爭光。”