各部门的主要负责人是:参谋处处长赖传珠，秘书处处长李一氓，副官处处长黄序周，军需处处长叶辅平，军医处处长沈其震，军法处处长李一氓兼，兵站处处长张元寿，情报处处长封裔应，政治部秘书长黄诚，组织部部长李子芳，宣传教育部部长朱镜我，民众运动工作部部长邓子恢兼，敌军工作部部长林植夫，战地服务团团长朱克靖。
由于编入新四军的各地红军游击队正在开赴皖南和皖西集结，也为了使指挥机关尽量靠近抗日前线，新四军军部于1938年4月4日离开南昌，5日抵达皖南歙县岩寺镇，7日又到太平县(今黄山市黄山区)麻村，26日进驻南陵县土塘村，8月2日移驻径县云岭村。军部在云岭近三年，直到1941年1月4日晚北移。
初期四个支队
1938年4月间，编安徽云岭新四军入新四军的南方8省14个地区的红军游击队经过长途跋涉，分别到皖南和皖西集结。全军共人，但是只有6500余支枪，许多战士还以大刀梭标为武器。此时，新四军辖4个支队10个团和1个特务营。
第一支队司令员陈毅，副司令员傅秋涛，参谋长胡发坚，政治部主任刘炎。辖第一团、第二团。第一团由湘鄂赣边红军游击队组成，团长傅秋涛兼，副团长江渭清。第二团由赣粤边、湘赣边、皖浙赣边红军游击队和湘南游击区的湘粤赣游击支队组成，团长张正坤，副团长刘培善。
第二支队司令员张鼎丞，副司令员粟裕，参谋长罗忠毅，政治部主任王集成。辖第三团、第四团。第三团由闽西、闽赣边红军游击队组成，团长黄火星，副团长邱金声。第四团由闽粤边、闽西、浙南红军游击队组成，团长卢胜，副团长叶道志。
第三支队司令员张云逸(兼)，副司令员谭震林，参谋长赵凌波，政治部主任胡荣。辖第五团、第六团。第五团由闽北游击队组成，团长饶守坤，副团长曾昭铭，第六团由闽东游击队组成，团长叶飞，副团长吴焜。
左起:陈毅项英袁国平李一氓朱克靖粟裕叶挺
第四支队司令员高敬亭，参谋长林维先，政治部主任萧望东(后戴季英)。辖第七团、第八团、第九团和手枪团。第七团由鄂豫皖边的红军第二十八军一部组成，团长杨克志，政治委员曹玉福。第八团由鄂豫边红军游击队组成，团长周骏鸣，政治委员林恺。第九团由红军第二十八军八十二师特务营和鄂东北独立团组成，团长顾士多，政治委员高志荣。手枪团由红军第二十八军手枪团和部分便衣队组成，团长詹化雨，政治委员汪少川。
特务营由湘南、闽中红军游击队组成。营长彭子龙
1939年2月，中共*******周恩来到皖南视察，与新四军领导人商定了“向南巩固，向东作战，向北发展”的战略方针。根据这一方针，5月成立江北指挥部，统一领导第4支队和7月新编的第5支队，江北游击纵队。第4支队开辟了以安徽省定远县藕塘为中心的津浦路西抗日根据地。第5支队开辟了以安徽省来安县半塔为中心的津浦路东抗日根据地。江北游击纵队在安徽高官江北岸开展游击战争，保持和皖南的联系。第1支队派出第6团向苏南东部发展，与当地的抗日武装合编为江南人民抗日义勇军(简称江抗)，直抵上海郊区。1939年9月，江左起:陈毅粟裕傅秋涛周恩来朱克靖叶挺抗西撤到长江中的扬中县与挺进纵队合编，并向苏北发展。10月，第2支队第4团一部北渡长江，在扬州以西改编为苏皖支队，打通了与第5支队的联系。11月，第1、第2支队领导机关合并组成江南指挥部，统一领导在苏南和向苏北发展的部队。这一时期，新四军还增加了两支部队。1938年9月30日，在河南省确山县竹沟镇组建的新四军游击支队东征，开辟了豫皖苏边区抗日根据地，1940年2月正式改称为新四军第6支队，辖3个团和4个总队。1939年1月，在竹沟组成的新四军豫鄂独立游击大队向武汉外围挺进，先后与豫南、鄂中、鄂东的抗日武装合编为新四军豫鄂独立游击支队、新四军豫鄂挺进纵队，开辟了豫鄂边区的抗日根据地，辖5个团队和3个游击总队。
1940年春，中共中央、中央军委作出八路军应派部队与新四军合力发展华中的部署。八路军第2纵队主力和苏鲁豫支队、陇海南进支队先后越陇海路南下，与新四军第6支队合编为八路军第4、第5纵队。第4纵队执行向西防御任务。第5纵队执行向东发展任务。7月，新四军江南指挥部率主力北渡长江，改称苏北指挥部;10月在取得黄桥决战的胜利后，与南下支援的八路军第5纵队会师。11月17日，在江苏海安成立华中新四军八路军总指挥部(23日迁江苏盐城)，叶挺任总指挥，陈毅任副总指挥并代理总指挥，中共中央中原局书记胡服(刘少奇)任政治委员，统一指挥陇海路以南、长江以北的新四军和八路军部队。留在苏南的新四军第2支队领导机关，组建了新的江南指挥部。
新四军在战斗中不断发展壮大，到1939年底已有人，1940年底扩大到人。