心氣極高的時候利用他們，可以建大功。如果等到天下平定以後人們都安居樂業了，就再也用不上他們了。不如立即決策，率兵東進，與諸侯爭權奪天下。”
項羽出了函谷關，派人讓義帝遷都。並對義帝說：“古代帝王擁有縱橫各千里的土地，而且一定要居住在江河的上游。”派使者把義帝遷徙到長沙郡的郴（ｃｈēｎ，琛）縣，催促他趕快起程，群臣於是漸漸背叛了他，項羽就秘密命令衡山王、臨江王去殺義帝，把義帝殺死在江南。項羽怨恨田榮，就封齊將田都為齊王。田榮很生氣，就自立為齊王，殺掉田都，反叛楚王；又把將軍印授給了彭越，讓他在梁地反楚。楚派蕭公角去攻打彭越，被彭越打得大敗。陳餘怨恨項羽不封自己為王，就派夏說（ｙｕè，悅）去遊說田榮，向他借兵攻打張耳。齊國給了陳餘一些兵力，打敗了常山王張耳，張耳逃走歸附了漢王。陳餘從代地把趙王歇接回趙國，重新立為趙王。趙王因此立陳餘為代王。項羽大為惱怒，發兵向北攻打齊國。
八月，漢王採用韓信的計策，順原路返回關中，襲擊雍王章邯。章邯在陳倉迎擊漢軍，雍王的軍隊被打敗，退兵逃走；在好畤（ｚｈì，制）停下來再戰，又被打敗，逃到廢丘。漢王於是平定了雍地。漢王向東挺進咸陽，率軍在廢丘包圍雍王，並派遣將領們去奪取土地，平定了隴西、北地、上郡。派將軍薛歐、王吸帶兵出武關，藉著王陵兵駐南陽，到沛縣去接太公，呂后。楚王聽說後，派兵在陽夏阻截，漢軍不能前進。楚又封原吳縣縣令鄭昌為韓王，以抵拒漢軍。
二年（前205），漢王向東奪取土地，塞王司馬欣、翟王董翳、河南王申陽都歸降了漢王。韓王昌不肯歸降，漢王派韓信打敗了他。於是把攻佔的土地設定為隴西、北地、上郡、渭南、河上、中地等郡；在關外設定了河南郡。改封韓國的太尉信為韓王。漢王下令各路將領，率領一萬人或者獻出一郡之地降漢的，封給他一萬戶。修築河上郡的要塞。原先秦朝供帝王遊玩打獵的園林，都允許人們去耕種。正月，俘虜了雍王的弟弟章平。大赦天下罪犯。
漢王出了武關到達陝縣，撫慰關外的父老，回來後，張耳前來求見。漢王對他十分厚待。
二月，下令廢除秦的社稷，改立漢的社稷。
三月，漢王從臨晉渡黃河，魏王豹帶兵跟隨著。攻下河內，俘虜了殷王，設定了河內郡。又率軍向南渡過平陰津，到達洛陽。新城縣一位掌管教化的三老董公攔住了漢王，向他說了義帝被殺的情況。漢王聽後，袒露左臂失聲大哭。隨即下令為義帝發喪，哭吊三天。派使者通告各諸侯說：“天下諸侯共同擁立義帝，稱巨事奉。如今項羽在江南放逐並殺害了義帝，這是大逆不道。我親自為義帝發喪，諸侯也都應該穿白戴素。我將發動關中全部軍隊，聚集河南、河東、河內三郡計程車兵，向南沿長江、漢水而下，我希望與諸侯王一起去打楚國那個殺害義帝的罪人！”
這時候，項羽正在北方攻打齊國，田榮和他在城陽交戰。田榮被打敗，逃往平原，平原的民眾殺了他。齊國各地也都歸降楚國。楚軍放火焚燬了齊國的城邑，掠走了齊人的子女，齊國人十分憤怒，又反叛楚國了。田榮的弟弟田橫立田榮的兒子田廣為齊王。齊王已在城陽舉兵反楚。項羽雖然聽說了漢王已經到東方來了，但因為已經與齊軍連續作戰多日，就想在打敗齊軍之後再去迎擊漢軍。漢王因此得以挾持常山王張耳，河南王申陽、韓王鄭昌、魏王魏豹、殷王卬五諸侯的軍隊，攻入彭城。項羽聞訊，立即率兵離開齊國，從魯縣穿過胡陵到達蕭縣，跟漢軍在彭城靈壁以東的睢水上激戰，大敗漢軍，殺了許多漢兵，睢水因此被阻塞不能暢流。項羽又派人從沛縣擄來了漢王的父母妻子、兒女，把他們扣留在軍中做人質。當時，諸侯們見楚軍強大，漢軍被打敗，又都背離了漢王而去幫