在操练场上对士兵们说，“他们冲过来，我们就举盾顶上去；他们射箭，我们就缩在盾后面。只要阵脚不乱，他们就奈何不了我们！”
他还利用荥阳的地形，在城外挖掘了数道壕沟，又在城墙上增加了箭楼和望塔。虎牢关的天险加上这些人工防御，让荥阳成了一座坚不可摧的堡垒。
公元前205年五月，项羽的楚军对荥阳发起了猛攻。
战鼓擂动的那一刻，数万楚军如潮水般涌向城墙。弓箭手在阵前射出密集的箭雨，城墙上的汉军士兵纷纷举起盾牌遮挡，箭矢打在盾牌上，发出“叮叮当当”的脆响。随后，楚军的步兵推着云梯冲到城下，开始疯狂攀爬。
“砸！”城楼上的汉军将领嘶吼着，滚石擂木如雨点般砸下，城下顿时响起一片惨叫声。那些从关中赶来的“老幼之师”，此刻就站在城墙上，有的负责传递滚石，有的则用简陋的矛戈刺向攀爬上来的楚军士兵。一个老者因为躲闪不及，被楚军的箭射中了肩膀，他咬着牙，把最后一块滚石推下城墙，才轰然倒地。
这场仗打得异常惨烈。楚军的攻势一波接一波，仿佛永远不会停歇；而汉军则凭借着城墙和关中赶来的“人海战术”，一次次将楚军击退。城墙上的尸体堆了一层又一层，鲜血顺着城墙的缝隙流下，在城下汇成了一条血河。
刘邦站在城楼上，看着眼前的惨状，心如刀割。他知道，每一次击退楚军，都意味着无数关中子弟的生命化为乌有。但他不能退——身后是关中，是他所有的根基，退一步，就是万丈深渊。
而项羽在城下看着久攻不下的荥阳，心中的怒火越来越盛。他从未想过，刘邦在经历彭城惨败后，还能组织起如此顽强的抵抗。楚军的伤亡每天都在增加，粮草也开始告急，远在齐地的叛乱尚未平定，后方又传来彭越袭扰粮道的消息，让他陷入了两难的境地。
“继续攻！”项羽挥舞着霸王枪，指向城楼，“我就不信，一座小小的荥阳，能挡住我！”
就这样，楚汉双方在荥阳和成皋之间，展开了一场漫长的拉锯战。楚军一次次猛攻，汉军一次次死守；楚军攻到城下，汉军就退守成皋；汉军夺回成皋，楚军又再次反扑。