1938年春季，日寇的精锐部队第十师团的一个旅团等，企图沿津浦线南下攻占徐州。当时国民党第五战区司令长官李宗仁负责指挥徐州一带战事。蒋介石于徐州方面告急时，也认为在战略上有加强第五战区之必要，乃仓促檄调第一战区驻河南补充训练尚未完成的汤恩伯军团与孙连仲第二集团军星夜增援。
第五战区长官部判断，恃战胜余威、骄狂分万的矶谷师团长一定不待蚌埠方面北上敌军的增援呼应，便要直扑台儿庄，以期一举攻下徐州，抢先夺取打通津浦路的大功，故调兵遣将，张网以待。除以孙连仲部正面迎敌外，又派汤恩伯潜行南下拊敌之背，协同孙部包围日军而歼灭之。
3月19日，孙连仲接到命今后，立即指挥部队东调，指定参谋人员先行赴徐州以北地区选定前进指挥所。同时命令池峰城第三十一师进驻台儿庄及其附近地区，构筑工事，掩护他部陆续集中。
第二集团军完成后的布防概况是：台儿庄城寨由第三十一师一八四团防守。该师其他部队一部分防守台儿庄以西七里之范口村及以东约三里之官庄，准备协同台儿庄核心之作战。另一部分沿大运河南岸布防。
池峰城在城寨外指挥。第二集团军的第二十七师、第三十师和第四十四旅陆续集结于贾汪东北和台儿庄以南地区。总司令部设在距台儿庄城寨五公里处。
3月22日，池峰城师进驻完毕。次日，由峄城南下之敌进犯台儿庄，中国军队还击，形成对峙状态。刘兰斋率骑兵从台儿庄北门出击日军，乜子彬旅长率第一八三团跟进，在康庄与日军骑兵遭遇，出击部队边战边退，诱敌深入。
第一八三团在獐山与日军激战至晚。同日下午，敌机多架在台儿庄一带低空飞行，进行侦察扫射、一场喋血大战即将展开。
24日晨，日军三个联队约五六千人，在飞机、坦克、重炮配合下，向台儿庄猛扑。临战之际，孙连仲亲赴前线调令下属：“面临强大的敌人，我们只能依靠地形挡住它，再利用夜里的小突击拖住它。没有命令，决不撤退。”
战斗中，日军摧毁了台儿庄北城墙，从突破口冲了进来。池峰城亲率敢死队与敌拚杀。李宗仁闻报，明令以十万银元奖赏。但敢死队员一致表示：“只要抗战，不要银元！”
当晚，池峰城身先士卒，率队夜袭敌阵，在第一八六团配合下，杀出一条血路，将从突破口冲入日军全部消灭。此后连续数日，敌军仗其优势武器装备，利用白昼作战。中国军队坚决抵御，同时摸黑夜袭，消灭敌人，双方展开了激烈的拉锯战。
29日凌晨，孙连仲召集军、师、旅长及炮兵团长会议，重申固守台儿庄之志。并指出：当面之敌似在待援中，我以钳形攻势当可聚歼之；第三十一师仍须独自为战，以利外线组织战斗。
战斗延续到4月3日，日军攻占了台儿庄的东南门，侵入城寨内百米，同时掷催泪瓦斯弹。台儿庄三分之二的地方为日军占领，中国守军死伤十之七八。孙连仲的部队据守南关一隅，死拚不退。
这时，李宗仁来电话，严令第二集团军守至次日拂晓，等待汤恩伯军团前来增援。孙连仲大义凛然地说：“长官有此决心，我第二集团军牺牲殆尽不足惜，连仲亦以一死报国家。”于是集合可用之兵，包括炊事兵、担架兵都一并参加，组成一个敢死队，于午夜袭击敌人。
这时，池峰城来电话请示可否撤退至运河南岸，孙连仲命令说：“士兵打完了，你自己填上去。你填过了，我就来填进去。有谁敢过河者，杀无赦！”池部乃以必死之决心，逐屋抵抗至4日黄昏，将敌增援部队击退。
4月6日，中国军队完成了合围任务后，全线出击。日军矶谷、板垣两师团阵脚大乱，狼奔豕突，渐向北撤去。孙连仲部与友军内外夹击，横扫残敌。
台儿庄战役以中国军队的全胜而结束，史称台儿庄大捷。此役中，孙部武器虽劣，但官兵勇于作战、不怕牺牲的精神弥补了这一点。近战时大刀发挥了很大威力。孙部官兵还用十二枚一捆的束集手榴弹炸毁敌军坦克。
台儿庄战役结束后，孙连仲的部队伤亡严重，但仍在运河东岸参加了掩护徐州国民党军大部队撤退的军事行动。后来日军沿津浦线攻下了徐州，孙连仲部的后路被切断，蒋介石特由汉口派了一架专机把他接回去，他的队伍也由徐州以南越过津浦铁路，开到信阳一带集结整理。