抗日战争胜利后，国共双方进行了和平建国谈判并签订了《双十协定》《停战协定》等，但1946年6月国民党军突然袭击中原解放区，第三次国内革命战争全面爆发。解放军仅用一年的时间就粉碎了国民党军队的全面进攻，1947年6月进入战略反攻，为配合刘邓大军挺进大别山，陈赓、谢富治率领陈谢兵团于河南省西部执行了“豫西牵牛”计划。

陈谢兵团成立于1947年7月27日，由陈赓任司令员，谢富治任政治委员，其主力为晋冀鲁豫解放军第4纵队、第9纵队两个纵队，此外成立之初还辖有由西北军起义部队组建的西北民主联军第38军及第8纵队第22旅两部。

晋冀鲁豫解放军第4纵队由陈赓、谢富治兼任司令员、政治委员，是一支由太岳军区主力整编而来的部队。抗战胜利前夕，为执行战略反攻任务，太岳军区主力部队组建了太岳纵队，1945年10月改编为晋冀鲁豫军区第4纵队，1946年6月编入新成立的晋冀鲁豫野战军，为晋冀鲁豫野战军第4纵队，1947年7月编入陈谢兵团，司令员、政治委员仍为陈赓、谢富治。

解放战争中，第4纵队一直执行战略机动任务，在陈赓大将率领下成为歼敌最多的部队，后整编为中原野战军第4纵队，1949年2月整编为中国人民解放军第十三军、第十四军。

晋冀鲁豫解放军第9纵队为1947年8月太行军区部队整编而成，司令员为秦基伟，政治委员黄镇。秦基伟是湖北黄安（今红安）人，1929年加入工农红军，曾参加鄂豫皖、川陕苏区反围剿及长征，抗日战争时期曾任八路军129师独立支队司令员、129师新编第11旅副旅长、太行军区第一分区司令员等职，1947年8月第9纵队成立后任司令员，后任十五军军长等职。1955年，秦基伟授衔中将。

西北民主联军第38军原为杨虎城将军西北军旧部第38军，解放战争初期整编为国民革命军第38师，1946年9月以该部两次起义官兵组建西北民主联军第38军，军长为孔从周，政治委员汪锋。陈谢兵团成立后，西北民主联军第38军划归其指挥，1949年2月撤销建制，分散编入其他解放军部队。孔从周，又名沈从洲，曾参加北伐战争、西安事变、渡江战役等重大事件，1955年授衔中将。

第8纵队成立于1947年8月，自成立后第22旅即划归陈谢兵团指挥，不久即改归第4纵队，旅长为查玉升。查玉升是安徽六安人，1931年参加工农红军，曾参加反围剿及长征，抗日战争期间历任连长、营长、团长等职，解放战争时期曾任第8纵队22旅旅长、第4纵队22旅旅长、14军41师师长等职，1955年授衔少将。