那潛邑是楚國邊關重鎮，兩國多次在這裏交手，所以駐紮了重兵，略有1萬守軍，而六邑之地隻有3千駐軍。
當孫武的大軍來到潛邑城外時，潛邑城早就做好了守城準備。楚軍的潛邑守將叫著子遠，是一員經驗豐富的老將，是死去的右司馬遠越的老部下。現在探馬報吳軍侵入，一邊派快馬報於郢都，一邊積極守城禦敵。
吳軍安營紮寨之後，孫武與伍員商議道：“此次受君王之命出兵伐楚，很是倉促。在整個戰略上並沒有製定出一個清晰的作戰計劃和目標，在後勤支援和兵力的後續補充上都沒做好準備。我是擔心不能持久，成強弓之末，會半途而廢的。”
“那我們就選擇速戰速決。隻要越國能派兵作為後援，我看還是大有可為。”伍員認為雖然這次沒做好充足的準備，如果能得到越國的支持，應該有一定的收獲。
“以我的估計，越王允常不一定會派兵相助，你想。越王一旦派兵，就站在了吳國一邊，和吳國就成了盟友，也就是楚國的敵人。而越國和楚國還並沒有完全絕交。對與越國來說，不會冒這樣大的風險。”
話雖這樣說，但吳王的命令在此，也隻能去執行。孫武和伍員繞著潛邑轉了一圈，看了看地形。見楚軍防守成陣，有板有眼，便知這守將子遠頗為知兵。
孫武令全軍開始準備攻城，那楚軍站在城樓高處，一是用長戈長矛刺殺攀城的吳兵，二是用檑木、石塊不知砸死了多少城下的後續部隊。雖然孫武手裏有4萬雄兵，但在潛邑1萬守軍的抵抗下，也難得撿到便宜。
一連三天，城下吳軍死傷無數，而潛邑之城卻巍然不動。
二將見潛邑守軍勇猛，不能硬攻，隻能智取。孫武便傳令三軍，撤回攻城部隊，在城外紮下營寨，另圖他策。
孫武與伍員計議道：“敵軍占著有利地形，我軍傷亡不小，但見效甚微，我有一計，可以試之。”
伍員也深知這樣強攻有些不利，看孫武有何良策。
“如果我們久攻潛邑不下，而楚軍增援的部隊趕到，我軍將腹背受敵，所以在楚軍趕來之時，我們一定要拿下潛邑！這潛邑的四道城門，我們在攻城的時候並沒有側重。而我的計劃就是，以很少的一部分兵力在其他三道城門佯裝攻城，把主要兵力、攻城器械聚集到正門，作為主攻方向。隻要此門攻破，潛邑就在手中了。”
伍員認為此計可行，便令專毅領著主力部隊，集合拋車，弓弩攻打潛邑城正門。而其它三門隻派些散兵鼓噪呐喊，佯裝攻城而已。
那楚軍還是在四道城門處平均布兵防守，可是吳軍其它三門隻是佯攻，牽製住楚軍兵力，在潛邑的正門，吳軍集結了上萬的攻城部隊，填土踏平護城河，架雲梯而上，那拋石車和弓箭手作為掩護，密密麻麻的雲梯上，不斷有吳軍爬上了城樓。
震天的喊殺聲不絕於耳，城牆上吳軍攻城士兵的屍體不時淩空落下，而更多的吳兵卻湧入了城樓。隨之，那撞擊的城門被吳軍打開，潮水般的吳軍蜂擁而入。
子遠見城破，伏劍自刎而亡。
攻破潛邑之後，孫武令伍員領兵1萬去增援六邑。伍員有些疑惑，因為六邑也就區區3千兵馬，而伯嚭可是帶著1萬吳兵，再說六邑是個小城，1萬吳軍攻下六邑並不困難。
孫武道：“六邑已經被伯嚭攻下，但楚國派沈尹戍為將，號稱8萬大軍，來救援潛邑和六邑。伯嚭1萬人馬，豈能抵擋？所以你率1萬兵馬去助守，讓六邑和潛邑成相互呼應之勢。如楚軍攻六邑，我便率軍救援；如楚軍攻潛邑，你便率軍救援；如楚軍分兵攻打，我便分兵對敵。總之要守住好不容易攻下的這兩座城池。”
伍員領命，率著1萬兵馬和伯嚭在六邑聚齊。