第二阶段：从1938年10月至1943年12月，是战略相持阶段。随着战局的扩大，战线的延长和长期战争的消耗，日军的财力、物力、兵力严重不足，已无力再发动大规模的战略进攻。敌后游击战争的发展和抗日根据地的扩大，使日军在其占领区内只能控制主要交通线和一些大城市，广大农村均控制在以八路军、新四军为主的中国军队手中。1938年9月，中国共产党召开了六届六中全会，毛泽东提出了中国共产党在民族战争中的地位问题，批判和克服了王明的右倾机会主义路线，坚持了独立自主的原则，保证了抗日战争的胜利进行。在此阶段，日本的侵华方针有了重大变化：逐渐将其主要兵力用于打击在敌后战场的八路军和新四军，而对国民党政府则采取以政治诱降为主的方针。日本侵略军集中了大部分兵力和几乎全部伪军，对中国共产党领导的敌后抗日根据地进行了残酷的“大扫荡”。抗日根据地军民开展了艰苦的斗争，坚决地进行反“扫荡”、反“蚕食”斗争，敌后战场逐渐成为抗日战争的主要战场。在黄土岭战斗中八路军利用大兵团伏击的战术与日军第二混成旅作战，击毙日军旅团长阿部规秀中将。

在日本政府的诱降下，国民政府内亲日派头子汪精卫公开投降。1940年3月，他在南京成立了伪国民政府，组织伪军，协同日本侵略军进攻抗日根据地。国民政府组织的三次长沙会战和1940年底的百团大战对日军造成重大打击，1940年彭德怀指挥的百团大战歼灭日伪军4万多人，其中日军伤亡2万多人;1940年的枣宜会战中，张自忠将军率部血战到底，不幸牺牲。1941年薛岳指挥的第三次长沙会战歼灭日军5万多人。这些大捷一度改变了当时中国国内的抗战士气。一些不受两党直接指挥的民兵组织(如蒙古抗日游击队等)也开始逐步壮大。至1940年7月，第18集团军已发展至近40余万人，并拥有约1亿人口的抗日根据地和近200万的民兵组织。成为华北方面日本不可忽视的强大力量。

百团大战后，侵华日军将视线转移至它们的后方——共产党控制的华北地区。开始将前线作战的日军抽调至华北，以维护对美、对华战争物资的流通，1941年底，华北日军兵力达到47万，并集中了傀儡政权中投入战场的全部伪军。为应对共产党方面的游击战术，采用了“保甲制度”来断绝共产党军队与当地民兵的接触，设立无人区，进行三光政策来压制八路军的活动空间。为达到这个目的，日本军队希望利用屠杀来震慑抗日力量，在华北进行了大量的屠杀惨案。并使用了违反国际法的生化武器来作战。其中1942年的冀中“五一大扫荡”，八路军和冀中根据地遭到最严重的损失，八路军伤亡1万多人，日军也伤亡2万人之多，有1万多青壮年被日军抓走充当苦力，战后八路军主力被迫撤离冀中，日军暂时控制了冀中平原。1942年太行区反扫荡中，八路军司令部遭到巨大损失，副参谋长左权牺牲，副总司令彭德怀惊险突围。中国政府根据1941年12月《中英共同防御滇缅路协定》，应英国政府请求遂以第五、六、六十六军，共十万余人组成远征军。由远征军第一路司令长官罗卓英和同盟国中国战区参谋长史迪威指挥，于1942年2月先后入缅作战。