1935年，日本帝国主义对我国的侵略步步加深，北平爆发了声势浩大的“一二・九”学生爱国运动。具有光荣革命传统的羊城学生界奋起响应，张海萍立即投入了这场斗争。在运动中，张海萍接触了中共党员，1936年冬，她参加了党领导的外围组织中国青年同盟，次年春天，年仅19岁的张海萍加入了中国共产党。

入党后，张海萍参加我党领导的广东青年抗日先锋队，从事公开的抗日救亡工作。街头、学校、工厂、农村，到处留下了她的足迹，宣传演出、安置难民、防空救护、募捐献金，事事抢在头里。在宣传中，每当她用那深沉、洪亮的女低音唱起了《义勇军进行曲》、《五月的鲜花》等抗日歌曲时，听众立刻被深深地感染，并情不自禁地随之放声高歌，抒发抗日的决心。她还和女师的同学利用暑假回家乡，作抗日宣传，用她那甜美的歌喉，激励乡亲们抗日杀敌的决心。

我党为了争取广东地方实力派坚持抗日，并在将来能掌握国民党基层政权，1938年9月，经党组织批准，张海萍参加了广东高中以上学生军训总队，后又参加了国民党广东省地方行政干部训练所(简称地干所)，并先后在军训总队和地干所中，担任中共女生支部组织委员。在复杂的环境中，张海萍立场坚定，旗帜鲜明，运用党的“有理、有利、有节”的方针，对国民党顽固派进行斗争。一次，国民党顽固派散布我党在陕甘宁边区实行封建割据，八路军游而不击的谬论，在学员中制造混乱。张海萍义愤填膺，坚持党的斗争原则，进行批驳。她用大量的事实说明陕甘宁边区是全国最民主的地区，八路军、新四军英勇抗击日本侵略者的进攻。从而消除了反动言论在群众中的影响。张海萍还积极慎重培养积极分子，亲自发展了一批中共党员和抗日先锋队员，壮大了党的力量。

1939年6月，党组织通过社会关系调张海萍到广东省妇女会工作，担任妇女班教务股长，从事妇女运动工作。她高举抗日民族统一战线大旗，为组织发动大众投入抗日救亡洪流做了大量工作。1940年春，她调到中共广东省委南雄党员训练班学习。在此期间，张海萍系统地学习了党的知识和马列主义理论，思想理论水平又上了一个新的台阶。后因训练班被国民党特务发现围剿，张海萍化装转移。

1940年8月，张海萍受中共南方工作委员会的派遣，赴桂林担任中共南委驻桂林政治交通员。1941年9月，张海萍利用广东同乡会的关系，与苏蔓、罗文坤一道，进入桂林逸仙中学，以任教为掩护，从事党的秘密工作。