巅峰
从1940年8月起，第120师参加了百团大战。在作战中歼灭日伪军3500余人。为了加强晋西北地区武装力量的指挥，于11月7日成立晋西北军区，贺龙兼任司令员，关向应兼任政治委员，续范亭任副司令员，周士第兼任参谋长，甘泗淇任政治部主任，辖6个军分区。自1937年8月至1940年底，晋西北军区部队(含晋西北新军)发展到5.1万余人。从1940年开始，第359旅在驻地南泥湾地区，开展大生产运动，实行生产自给，减轻了人民负担。
相持
从1941年开始，在日本侵略者的“扫荡”、“蚕食”和“治安强化运动”的紧逼下，晋西北抗日根据地进入极端困难时期。晋西北军区部队在人民群众的支援下，进行了艰苦卓绝的反“扫荡”、反“蚕食”和反“治安强化运动”的斗争。
为战胜困难，坚持抗战，晋西北军区部队积极贯彻执行中共中央提出的精兵简政政策，1942年进行了两次精简整编，主力部队由3.9万余人减至2.5万人，并调整了军分区机关。同时，开展了整风、生产和拥政爱民运动，加强了地方武装建设，实行了主力军、地方军和民兵三结合的武装力量体制。1942年5月，日军一个大队及伪军一部，奔袭晋西北军区领导机关，被军区部队围歼于兴县以南田家会地区。6月，设在延安的陕甘宁晋绥联防军司令部成立，并任命贺龙为司令员，关向应为政治委员，徐向前任副司令员兼参谋长。下辖八路军第一二0师、留守兵团、晋绥军区部队和陕甘宁边区保安队以及炮兵团等部。6月10日，联防军司令部正式成立。9月，晋西北军区改称晋绥军区。与此同时，晋绥军民坚决执行中共******毛泽东关于“把敌人挤出去”的方针，运用各种形式，向敌人挤地盘。至1943年上半年，基本上把日伪军挤到其主要据点和交通线附近。1943年秋，吕正操率八路军第3纵队主力9个团，由冀中等地先后到达晋绥地区。随后，中共中央军委任命吕正操为晋绥军区司令员，林枫为政治委员，续范亭和周士第为副司令员，免去贺龙的司令员、关向应的政委兼职。10月，粉碎了日军的秋季“扫荡”，并在山西兴县以南甄家庄地区，歼灭日军700余人。1944年秋至1945年夏，晋绥军区部队连续举行3次攻势作战，全区面积由1944年7月的8.3万余平方公里，扩大到8.7万余平方公里。
为了建立以五岭山脉为依托的抗日根据地，把中原地区和广东东江地区的游击战争联结起来，使华南成为战略一翼，1944年10月，中共中央决定，以第359旅为基础组成第18集团军独立第1游击支队(通称南下支队)，由延安出发，挺进湘粤边。该部主力于1945年8月到达广东南雄地区。后因日本投降和遭到国民党顽固派军队的重兵围攻，遂即北返，于10月回到中原地区。此后，该部与新四军第5师部队共同坚持中原地区的斗争。
1945年8月，晋绥军区部队在贺龙、李井泉指挥下，向日伪军展开大反攻。为加强大反攻的组织指挥，随后成立了吕梁、雁门、绥蒙3个军区。吕梁军区由张宗逊任司令员兼政治委员;雁门军区由吕正操兼任司令员，高克林任政治委员，许光达任副司令员;绥蒙军区由姚喆任司令员，张达志任政治委员。晋绥军区的大反攻作战，分南北两线:南线以太原为中心，由张宗逊指挥;北线以归绥为中心，由吕正操、许光达指挥。9月初，贺龙、李井泉率领第358旅和独立第1旅由陕甘宁边区东渡黄河，参加反攻作战。晋绥部队经过连续奋战，收复了离石、中阳、文水、交城、陶林、武川、左云、右玉、朔县、平鲁等许多城镇，毙伤日伪军1.6万余人，俘日伪军5100余人。在大反攻中，主力军发展到4.5万余人，地方武装发展到4万余人，民兵发展到10万人以上。
在八年抗战中，第120师及晋绥军区部队，作战近2万次，消灭日伪军12万余人，建立了晋绥抗日民主根据地。还协同晋察冀军区部队开辟了恒山区，加强了平西区，巩固了冀中区，并保卫了陕甘宁边区，为抗战胜利作出了重大贡献。
1940年3月10日，贺龙在山西临县窑头120师和山西新军参谋长会议上讲话
120师兼西北军区，师长兼军区司令员贺龙、政治委员关向应、副司令员续范亭、参谋长周士第、政治部主任甘泗淇。
1938年12月底，第358旅主力进入河北中部。随后留晋西北的第714团、警备第6团等部队为基础，成立新358旅，即彭358旅。1939年3月，原第358旅715团、716团与冀中军区独立第4、5支队合编为120师独立旅(5月改为独立第一旅)、独立第二旅。同年9月，独立第2旅改为第358旅(亦张358旅)。1940年4月，彭358旅改称独立第2旅。1939年底，山西新军与阎锡山部国军发生冲突，并遭围攻，此后薄一波率领山西新军加入八路军编制，其中晋西北部队归120师。