1947年1月，鲁南战役第一阶段大获全胜后，战场态势发生决定性转变。此阶段，由峄县和枣庄东援的国民党军妄图突破解放军阻援防线，解救被围部队，却均被我军阻援部队以顽强意志奋力击退。

峄县方向援军被右纵队牢牢阻于负山口、横山一线，多次发起猛攻，始终无法前进一步；枣庄援军则被左纵队一部死死阻击，陷入进退两难的困境。两支援军均未能对被围敌军提供任何有效支援，淋漓尽致地暴露了国民党军派系林立、各自为战、互不配合的致命弱点。

整编第26师及第一快速纵队被歼后，国民党军整编第33军心惊胆战，迅速收缩兵力，缩踞运河以西固守待援，再也不敢轻易驰援。峄县、枣庄地区的国民党军彻底陷入孤立无援的绝境。其中，峄县守军由整编第26师残部、第一快速纵队逃至峄县的7辆坦克及地方保安部队组成，共计约5000余人，由整编第26师师长马励武统一指挥。

他们依托一线高大坚固的古城墙，构筑起密布的碉堡和密集的射击孔，城外挖有深壕，布设铁丝网，形成严密的防御体系，负隅顽抗。枣庄守军为国民党军整编第51师，由师长周毓英指挥，下辖两个旅，共计约1万余人，装备精良，战力不弱。他们依托枣庄煤矿的厂房、矿井、碉堡等有利地形，构建了坚固的防御工事，地形复杂，易守难攻。

华东野战军指挥部审时度势，根据战场态势果断调整作战部署，将第二阶段攻击矛头精准指向峄县、枣庄地区分散孤立的国民党军。鲁南战役第二阶段正式发起，重点攻坚两地守敌，力求彻底肃清鲁南地区的国民党军，收复峄县、枣庄、台儿庄等战略要地，巩固战役成果。

1月9日，战役第二阶段正式打响。华东野战军以第八师为主力，配属部分炮兵部队，向峄县发起猛烈进攻。峄县作为鲁南地区的重要城镇，古城墙高大坚固，敌军在城墙上构筑了大量碉堡和射击孔，城外挖有壕沟，布设铁丝网，防御极为严密。

我军先以炮兵部队对峄县城墙及城内敌军工事实施饱和攻击，密集炮火摧毁了敌军部分碉堡和防御工事，为步兵冲锋扫清障碍。随后迅速组织步兵部队发起冲锋。第八师战士奋勇争先，浴血冲锋，顺利突破敌军城外防御工事，逼近城墙，随即展开激烈的攻城作战。

战士们搭起云梯，冒着敌军密集的火力，向城墙顶端奋勇冲锋。先后有多名战士在攻城过程中壮烈牺牲，但部队始终没有退缩，持续发起猛攻。同时，解放军充分利用第一阶段缴获的坦克，配合步兵攻城。坦克炮火猛烈轰击城墙，精准摧毁敌军防御要点，为步兵开辟出多条攻城通道。