1956年9月在中共第八次全國代表大會上作《為中國人民解放軍的現代化而鬥爭》的報告，並當選為中央委員和中央政治局委員。
1953年12月受中共中央委託，主持全國軍事系統黨的高級幹部會議，代表xx作《四年來的軍事工作總結和今後軍事建設上的幾個基本問題》的報告。會議根據毛澤東對軍隊建設的要求，確定把人民解放軍建設成為一支優良的現代化革命軍隊的總方針和總任務，提出建設現代化革命軍隊的具體途徑，規定黨對軍隊的領導制度是黨委集體領導下的首長分工負責制等，推動了人民軍隊的正規化、現代化建設。
1954年9月起任國務院副總理兼國防部部長、國防委員會副主席。在中共中央和毛澤東的領導下，與軍委其他領導同志密切合作，領導實行軍隊組織機構和重大制度的改革，加強技術兵種建設，創辦各類軍事院校，建立軍事科學研究機構，實行義務兵役制、軍銜制、薪金制、授勳授獎制度等，使人民解放軍在保持和發揚優良傳統的基礎上，逐步實現從單一軍種到諸軍兵種合成軍隊的歷史性轉變，使全部軍事工作從戰時狀態轉入平時建設軌道。為了建設鞏固的國防和準備解放台灣，他親自勘察地形，根據積極防禦的戰略方針指導國防築城施工，到1959年初步完成沿海第一線國防工事構築計畫和作戰準備。
1955年9月被授予一級八一勳章、一級獨立自由勳章、一級解放勳章。1956年9月在中共第八次全國代表大會上作《為中國人民解放軍的現代化而鬥爭》的報告，並當選為中央委員和中央政治局委員。