第四十八军第一七一师副师长周元在蒙城保卫战中阵亡殉国。不久，该集团军参加武汉会战江北作战。1939年10月，该集团军总司令廖磊因病去世，李品仙接任该集团军总司令，该集团军司令部还兼属豫皖鄂边区游击总司令部，李品仙兼任游击总司令。该集团军曾参加随枣会战、枣宜会战、第二次长沙会战、常德会战。因该集团军长期驻守大别山区，又称“大别山兵团”。1943年4月，莫树杰的第八十四军加入该集团军的战斗序列。1945年初，第二十一集团军划归第十战区指挥管辖，李品仙任第十战区司令长官兼第二十一集团军总司令。