台儿庄战役后，日军统帅部发现在徐州附近集结着大量的中国军队，于是决心集中全力围攻徐州，与中方决战。日军一方面命令第五师团坂垣部以主力西移，向矶谷师团残部靠拢，协作构成坚固防线，固守待援；另一方面，于4月24日颁布了新的《华中派遣军徐州会战计划》，以5月中旬为限，联络华北方面军攻徐州，消灭中国野战军之主力。为此，日军从平、津、晋、绥、苏、皖各战场抽调13个师团共30万之众，配以各种重武器，分6路向徐州集中包围过来。
台儿庄战役后，中国军队各部正亟须补充休息，但国民政府由于受到台儿庄大捷之激励，急欲扩大战果，居然调集大批援军向徐州地区开来，准备与敌决战。当时国民政府德国总顾问法肯豪森也主张中方应急速扩大战果，他曾为中国军队没有乘胜追击而气得狠命地揪自己的头发。他说：我告诉委员长要向前推进，要发动进攻，要乘胜前进，可是他们什么行动也没有采取，日军很快就会把8到10个师的部队调到徐州前沿，到那时就来不及了。蒋介石也认为，日本攻击势头已经受挫，力量已经疲惫，他寄希望于再在徐州打一场如同“八一三”式的会战，以扭转整个中日战局。一月之内，国民党军抵达徐州之增援部队多达20余万，与战区原有部队合计达64个师又3个旅，总计兵员60万。
日军统帅部利用中方急于扩大战果的心理，命令在台儿庄地区残留部队进行留守作战，同时命令各军火速增援。4月16日，日军转守为攻，但处处都遭到中国军队的激烈抵抗。仅第四十一、四十二两个联队在进攻中即伤亡1400多人，而国崎支队伤亡大半。19日日军攻陷临沂，从东西两面包围了汤恩伯军团，使之不得不后退，但日军遭到了第六十军卢汉部的顽强抗击，双方在韩庄至邳县的运河两岸对峙。整个战场呈胶着状态。早在台儿庄战役开始之初，日军便迫切期待进行徐州作战，华北方面军在发给参谋本部的电文中称：这次战斗肯定对我十分有利，尤其在蚌埠方面，依靠友军的积极行动，予以策应，很明显会收到更大成果.......主要为发挥我全面战略态势之有利方面，对正在以徐州为中心聚集之敌集团，尽可能以最小牺牲给敌以最大打击。大本营批准了华北方面军的作战计划：在台儿庄方面有大量的中国军队，特别是汤恩伯军的出现，认为给蒋介石军的主力一大打击，是挫伤敌人抗战意志的好机会，因此决定进行徐州作战。但事与愿违，日军在台儿庄的战败，打乱了原定计划，令日军大本营极为震怒。为挽回颜面，日军决定重新部署，令华北日军派出少量部队从正面吸引中方主力，华中日军主力向西迂回，从侧后合围在徐州的中国军队主力。于是，形成了准备在徐州围歼中国军队，特别是他们看中的中央军主力的作战计划。
4月7日，日军大本营正式下达徐州作战的命令：一，大本营企图击败徐州附近之敌；二，华北方面军司令官应以一部有力部队击败徐州附近之敌，占据兰封以东的陇海线以北地区；三，华中派遣军司令官应以一部协助华北方面军司令官，击败上项徐州附近之敌，并占据徐州(包括在内)以南的津浦线及庐州附近。为加强华北方面军与华中方面军的联络，日军大本营还制定了《徐州附近作战指导要领》，规定：一，华北方面军约以4个师团向陇海沿线发动攻势将敌击败。为此，以主力从北面击败徐州附近之敌，约以1个师团从兰封东北方附近向敌退路归德方向进攻。二，华中派遣军约以2个师团，从南面策应华北方面军作战。为此，从津浦沿线地区进击，尤其应力求切断敌之退路。津浦铁路北线由第二军司令官西尾寿造指挥第五、第十、第十六、第一一四师团、独立混成第五旅团，混成第三、第十三旅团及配属部队；津浦铁路南线为烟俊六指挥第三、第六、第九、第十三、第一O一师团、岩仲挺进队。为协调两路日军的行动，日军大本营派出作战部长桥本群等人赶赴济南，组成大本营派遣班，就近指挥徐州作战。
鉴于淞沪会战以来，华东日军连续作战，需要休整，为利用此机会扩大战果，蒋介石抽调部分拱卫武汉的兵团北上徐州，准备与敌一决雌雄。中央军精锐黄杰、桂永清、俞济时、宋希濂部，驻防豫东归德、兰封一线，作为后援，巩固第五战区后方。第五战区辖下分为5个作战兵团：李品仙指挥淮南兵团，下辖第二十、第十、第四十八军；廖磊指挥淮北兵团，下辖第三十一、第七、第七十七、第六十八军及左侧支队；孙连仲指挥鲁南兵团，下辖第三十、第四十二、第五十一、第四十一、第四十五、第六十、第四十六、第二十二、第七十五军及4个师；汤恩伯指挥陇海兵团，下辖第五十九、第九十二、第二军；韩德勤指挥苏北兵团，下辖第五十七、第八十九军；此外，还有石友三的第六十九军编为挺进军，鲁西还驻有孙桐萱的第三集团军，孙震的第二十二集团军残部。
战前，中方制定的作战方针规定，国军以确保徐州之目的，应对沿津浦铁道及汾河南下之敌切实阻止，并以有力部队威胁敌之侧背，俟迂回部队达到临沂、费县、滕县线上并集结相当兵力于徐州附近后，然后以主力由南面转取攻势，歼灭敌军。至万不得已时则用逐次抵抗，退守洪泽湖至微山湖中间地区。第二、三战区除以一部直接或间接支援徐州方面之作战外，主力应积极进攻当面之敌，使敌不得放胆转用其兵力于津浦北段。具体部署方面：一，第五战区之部队，应以主力固守郯城以南经邳县至韩庄二线，并以四师以上之兵力，由济宁至东平间地区突入敌后方，对峄县、郯城之敌攻击，并以集结之兵力加入南北夹击，以收歼灭当面之敌之效。至不得已时，我南面部队须利用逐次抵抗退守洪泽湖、微山湖中间地区，待机转移攻势。迂回部队则专任敌后之游击；二，第一战区部队，主力积极向济南方向活动，破坏津浦铁路北段交通，并向敌军后方发展游击战，一部攻击当面之敌。第二战区部队应积极攻击当面之敌，牵制当面敌军之转移，并抽调一部向徐州附近集结；三，第三战区应抽调一部控置于相当地点，作战略预备队，主力努力攻击当面之敌；四，即以现在控置于后方之部队向徐州附近集结，准备将来之攻势转移。对比中日双方此时的作战计划，似有相似之处，即利用少量兵力吸引对方主力，再予以围歼。
（文献主要来源：步平，王建朗.中国抗日战争史第二卷（战时军事），社会科学文献出版社）
