抗日戰爭爆發後，聶榮臻先後任八路軍第115師副師長、政治委員，在忻口會戰中，與林彪共同指揮所部進行了平型關戰鬥，殲滅日軍坂垣師團一部1000餘人，繳獲步槍1000餘支，機槍20餘挺，擊毀汽車100多輛，馬車200餘輛，取得全國抗戰以來第一個大勝利，打破了日軍“不可戰勝”的神話，為中國共產黨和八路軍贏得了國際輿論的稱讚和好評。
日軍占領太原後，戰局發生極大變化。為避免第115師等部及八路軍總部被敵隔斷，1937年11月，聶榮臻受八路軍總部之命任晉察冀軍區司令員兼政治委員，率3000人的武裝，在五台山區創建敵後第一個抗日根據地。他充分發動人民民眾，擴大武裝力量，加強黨和政權的建設，先後開闢了冀中、冀東、平西、平北等根據地，到1939年，晉察冀根據地發展到擁有七十二個縣、1200多萬人口、主力部隊近10萬人的模範根據地。毛澤東讚譽說：“五台山，前有魯智深，今有聶榮臻，聶榮臻就是新的魯智深。”並號召八路軍向晉察冀根據地學習。
1939年秋，日軍兵分十二路向晉察冀邊區進行冬季“掃蕩”。聶榮臻周密部署，採取靈活多變的游擊戰術，指揮八路軍在雁宿崖同日軍進行激戰，殲敵第2混成旅團1500餘人，並在黃土嶺戰鬥中與楊成武指揮部隊擊斃日“名將之花”阿部規秀中將。阿部規秀是中國抗日戰爭中被消滅的職務最高的日軍指揮官，此舉震驚了日軍，也震動了全中國。毛澤東致電聶榮臻，要他嘉獎有功人員。中共中央、八路軍總部和全國各地的友軍、抗日團體、著名人士紛紛拍來賀電，祝賀黃土嶺圍攻戰的勝利。全國各地的報紙也紛紛報導黃土嶺戰鬥經過，刊登各種祝捷詩文。全國抗戰熱情更加高漲。
1940年春，聶榮臻率晉察冀南下支隊到晉東南參加反擊國民黨頑固派朱懷冰部的作戰，並在同年8月的百團大戰中，組織指揮部隊在正太、津浦、平漢、北寧線等鐵路線進行破擊戰，使日軍的交通樞紐陷於癱瘓。
1941年秋，日軍調動其華北占領軍的一半兵力，對晉察冀機關所在地發動了空前規模的大“掃蕩”。聶榮臻指揮主力相機轉至外線打擊敵人，進行鉗製作戰，並率領黨政機關在有限兵力掩護下，靈活機動地周鏇於深山峽谷之中，巧妙地從敵人薄弱點安全轉移，粉碎了敵人的陰謀。1942年，在鬥爭極其殘酷、根據地日益縮小的情況下，聶榮臻適時提出“向敵後之敵後挺進”，組建多支武裝工作隊，深入敵後襲擊敵人，奪取日偽軍力量薄弱的據點，擴大游擊區。至1943年，晉察冀根據地軍民逐步挫敗了日偽軍頻繁的“掃蕩”、“蠶食”、“清剿”，扭轉了困難局面，保衛了晉察冀抗日根據地。
1943年1月15日，聶榮臻出席了在阜平溫塘召開的邊區首界參議會。他和宋劭文等一起接見了邊區代表，並向代表們匯報了晉察冀情況。邊區首界參議會，是晉察冀邊區史上民主建政的重要的里程碑，標誌著邊區的民主建設越來越完備。1943年8月，聶榮臻奉命赴延安參加整風運動和出席黨的“七大”。他向毛澤東等中央領導人初步匯報了在晉察冀六年的各方面工作，聽取中央領導人的有關指示，經歷了會議中和會議前後黨內廣泛開展的批評和自我批評，受到了深刻的教育。1945年8月8日，蘇聯對日宣戰，10日，聶榮臻與蕭克、劉瀾濤致電晉察冀分局，命令全區部隊立即向平津等大城市進軍，接受日偽軍投降，如遇抵抗，應進攻殲敵。並命令冀熱遼軍區抽調幾個主力團由李運昌率領向遼寧進軍，儘早與蘇聯紅軍會師。8月15日，日本法西斯政府宣布無條件投降。中國人民抗日民族解放戰爭至此獲得了最後勝利。