在台儿庄大战的前夕，日军为谋指挥统一，曾企图将华中方面军与上海派遣军合组为华中派遣军，沿津浦线北上，其目的是与津浦路南下日军，以及与胶济路西进的日军会合，从三面会攻徐州。但在津浦线南段，敌军因受到我廖磊集团军、李品仙集团军和新四军张云逸支队的牵制，不能北上参加台儿庄战役，而在淮河流域形成对峙之势。这是日军北动南不动的根本原因。
日军第十师团矶谷廉介自攻下泰安以后，第五战区司令长官李宗仁乃檄调川军邓锡侯（1888—1964，四川营山人。北洋军阀政府时期，曾任四川省联军总司令、四川省省长。抗日战争时期，先后任第四集团军和第二十二集团军总司令，率部出川抗日。抗日战争胜利后，任四川省政府主席、西南公署副长官。1949年12月在四川彭县起义。后历任四川省副省长、国防委员会委员。）的第二十二集团军，由孙震指挥，至徐州转向临城、滕县，拒敌南下。
初川军孙震的第四十一军和陈鼎勋第四十五军原在山西同蒲路上作战，一上火线就被日军快速部队击溃，阎锡山速电要求将该两军撤离第二战区。军事委员会应阎要求，令孙震率该两军到河南归第一战区司令长官程潜指挥，但程也不愿收容，白崇禧乃征求李宗仁的意见，拨归第五战区。李宗仁在该部开到韩庄、临城整补后，多次亲往慰劳劝勉。川军以在一、二战区，到处遭人白眼，今看到李宗仁视如亲人，不禁感激涕零，土气为之大振。
三月十四日，日军第十师团进至界河，十五日进攻滕县。我守城的部队即为川军第二十二集团军的第一二二师，师长王铭章凭城固守，李宗仁急令新拨归第五战区指挥的第二十军团汤恩伯（1898—1959，浙江金华人。曾参加北伐。抗日战争时期，任第一战区副司令长官、豫鲁苏皖边区总司令。1944年日军进攻河南时，率部大溃退。后被调至西南，任第三方面军总司令。抗日战争胜利后，任南京卫戍总司令、第一绥靖区司令官。1949年任京沪杭警备总司令，在淞沪地区负隅顽抗，所部被解放军歼灭后逃往台湾。后死于日本。）驰援。汤的主力第八十一军王仲廉部因行程过远，未能及时赶到。十七日敌配合猛烈炮火攻陷滕县，王铭章师长壮烈殉国，所部牺牲殆尽。三月十八日，敌第十师团攻陷峄县，王仲廉部第二十三团团长阵亡，双方损失重大。
与此同时，板垣征四郎率领的第五师团，由莒县蒙阴进出临沂，企图迂回台儿庄，经李宗仁令庞炳勋（1879—1963，河北新河人。抗日战争爆发后，任第二军团军团长、河北省政府主席、冀察战区副司令官兼第二十四集团军总司令。1943年5月投降日寇，被委任为伪军委会委员、第二十四集团军总司令、晋冀鲁豫剿总司令。抗日战争胜利后，被蒋介石任为新编第一路先遣军总司令。1949年败退台湾。）的第三军团和张自忠的第二十七军团两部，在临沂迎头痛击。临沂城墙高大而坚固，北伐时白崇禧曾在这里率部进攻张宗昌（1881—1932，山东掖县人。1913年投靠直系军阀冯国璋，后又投靠奉系军阀张作霖。1924年入据山东，任军务督办。次年组成直鲁联军，任副司令，后任总司令。1928年5月，在蒋介石、冯玉祥联合进攻下退出山东。同年9月所部在河北滦东地区被消灭。1932年在济南被刺死。）的鲁军方永昌，亲眼看到野炮也不能打穿城壁。庞军初凭城拒敌，李宗仁怕他势孤不能胜任，乃令第五十九军张自忠出滕县增援临沂。三月十二日，张部开抵临沂北郊。李宗仁考虑到，庞、张两人都是军团长，资历相当，为了加强协调，特派第五战区司令长官部参谋长徐祖诒随张自忠到临沂，以李长官名义指挥该两军作战。张部到临沂不久即与庞炳勋部内外夹攻，血战五昼夜，击溃板垣师团之一旅，敌死伤过半。三月十七日晚，敌向沂水退却。庞、张两部紧追不舍，沿途斩获不少。三月二十三日，敌配合援军开始反攻，我军仍退守临沂与敌对峙。
敌军以左翼迂回不成，乃以攻陷峄县的濑谷旅团沿台枣支线挺进，欲以迅雷之势，攻占台儿庄，作为进攻徐州的据点。台儿庄是徐州东北三公里的一个要冲，临城到赵墩的铁路支线由此经过，人口约一万，面临运河，后有丘陵，已建有战壕和炮兵阵地。
当时第二集团军总司令孙连仲所部三个师担任台儿庄的防御，他以池峰城的第三十一师守市区。峄县及枣庄北方置有第二十军团汤恩伯部王仲廉、关麟征两军。本来李宗仁令汤恩伯控制其主力埋伏在台儿庄东北战区，等待日军来攻台儿庄时，即协同孙连仲部里应外合，予以围歼。但汤恩伯拒不从命，他仅派一部袭扰临枣铁路线，而将主力置于枣庄东站以北抱犊崮山麓，欲待日军与孙连仲军相持不下，两败俱伤时，始行出击，这就造成孙连仲部孤军御敌的不利情势。
三月二十四日起，日军矶谷师团主力开始集结于台儿庄周围，敌人借野炮七十余门、战车五十辆，以及空军的支援，向孙连仲部猛烈围攻，曾一度攻入台儿庄。我守军池峰城师抱与台儿庄共存亡的决心，奋勇抵抗，反复肉搏，台儿庄虽被敌占去四分之三，守军岿然未动，死力支撑。当孙连仲部吸引矶谷师团于台儿庄之际，汤恩伯集团所徘徊于峄枣之间。三月二十六日，汤始遵军委会的命令，放弃峄枣的计划，将其主力向台儿庄北侧之敌猛攻。到三月三十一日，台儿庄之敌，遂完全陷入我包围圈内。
这个时候，在临沂方面的板垣师团和敌一〇五师所编的沂州支队，再攻临沂，经我庞炳勋、张自忠两军浴血力战，未能得逞。敌看到台儿庄正面危急，乃放弃攻击临沂的计划，将沂州支队星夜转运到爱曲，攻我汤军团的侧背，企图解矶谷之危。汤军团以关麟征部迎击该敌，时适周磊第七十五军所部两师出河南开到，遂与关部协同作战，一鼓击破沂州支队，仍回师围攻台儿庄的敌人。
四月六日晚间，台儿庄之战取得决定性的胜利。敌第十师团大部及第五师团一部被歼，残敌万余人向北溃退，我军跟踪追击，获敌战车、重炮及装备甚多。敌退至向城、税郭、枣庄、峄县、九里山一带，负隅固守待援。徐州会战第二个回合至是告一段落。
台儿庄大捷的消息传遍国内外，引起了热烈的反应，国内各地都举行盛大的祝捷集会。但是李宗仁功高震主，也引起了某一部分人的担心。如军委会政治部第三厅在武汉举办宣传周，第二天便印出了名作家老舍写的大鼓词《抗战将军李宗仁》，它的内容是歌颂台儿庄大捷的。这一小册子分发到陈诚手里，他立刻向第三厅厅长郭沫若提出抗议：
“这个小册子不妥当，不能替任何的将领做个人宣传。”于是便当场把全部印刷品扣留起来。
这一件事，促使第三厅的一位科长徐寿轩撂开纱帽走人了。这是台儿庄大捷的一个小插曲。
台儿庄胜利之后，冲昏了一些人的头脑，如当时的《大公报》就在一篇社论中提出过这样的意见，主张徐州战役应是“准决战”，说过去的持久战的方针应该改变。针对这种情况，毛泽东于五月二十六日到六月三日在延安抗日战争研究会发表了《论持久战》的长篇讲演。在讲演中，毛泽东一方面驳斥了当时国民党内汪精卫一派的“亡国论”，另一方面又驳斥了台儿庄大捷后言论界出现的“速胜论”，而提出了持久战的战略方针。
毛泽东《论持久战》刚发表，周恩来就把它的基本精神向白崇禧作了介绍。白崇禧深为赞赏，认为这是克敌制胜的最高战略方针。后来白崇禧又把它向蒋介石转达，蒋也十分赞成，在蒋介石的支持下，白崇禧把《论持久战》的精神归纳成两句话：“积小胜为大胜，以空间换时间。”并取得了周公的意见，由军事委员会通令全国，作为抗日战争中的战略指导思想。
台儿庄的胜利，固由于李宗仁指挥若定，白崇禧赞勷有方，以及各军将士之能听命，但日本人也犯了许多错误。正如毛泽东在《论持久战》中所说的：“一是逐渐增加兵力。……二是没有主攻方向。台儿庄战役以前，敌在华中、华北大体上是平分兵力的，两方内部又各自平分。……台儿庄败仗后，总结了教训，把主力集中徐州方向，这个错误算是暂时地改了一下。三是没有战略协同。敌之华中、华北两集团中，每一集团内部是大体协同的，但两集团间则很不协同。津浦南段打小蚌埠时，北段不动；北段打台儿庄时，南段不动。两处都触了霉头之后，于是陆军大臣来巡视了，参谋总长来指挥了，算是暂时协调一下。”从此可以了解，台儿庄大捷，得来很不容易。
