英國侵略軍逼近廣州城郊的時候，奉命前往廣州去督辦軍務的楊芳還沒有到達廣州。廣州知府餘保純麵臨大敵當前的局勢，嚇得親自到英軍船艦上去求見義律，請求停戰。義律也正想測探和熟悉內河的虛實，弄清江流情況，摸透雜亂的水道，為下一步的侵略作準備，便爽快答應餘保純停戰三天。三天之後，他就派兵占領了清軍的中流砥柱炮台，並且發布告示威脅說：“如果清朝官員危害英軍駐防，英軍就以兵戎相見，使廣州全城不得安寧；如果英國商人和中國商人之間的買賣受到阻止，廣州全城就別想再有商業。”
廣州官員雖然向英國船隻發放了貿易許可證，可侵略者還是攻陷和毀壞了鄰近廣州城的各個要塞和炮台。廣州城完全暴露在敵軍的射程之內。
那時，參讚大臣楊芳已經到了廣州，他很快就轉向妥協投降派了。義律因為當時英美鴉片販子都急於把他們從印度和新加坡運來的鴉片存貨在廣州高價銷售，再把廣州收購的茶葉運送回英國，增加英國政府的財政稅收，便向楊芳提議停戰通商。楊芳馬上就答應了。在停戰期間，伯麥去印度調集援軍，可是這時來到廣州的奕山和隆文，卻絲毫不作防禦準備。
奕山是一個既不懂軍事，又沒有對敵作戰決心的清朝貴族。他一到廣州，就給道光皇帝上奏折說“患在內而不在外”，汙蔑積極抵抗侵略者的廣東人民是“無賴之徒”，要“防民甚於防寇”，把當地人當作“漢奸”，把廣東的軍隊看成“賊黨”，任意逮捕殺害。他寧可派人到福建去招募新兵，也不使用廣東的士兵，對從外省調到廣東的將領，他也不信任，而讓自己的滿族親信當大將，把軍隊弄得一塌糊塗，毫無組織紀律。奕山和隆文、楊芳等自己人，則派人爭相購買鍾表等洋貨及古玩字畫，挑選美女，日夜飲酒作樂。
停戰維持了兩個月，英國又增加了援軍。奕山和自己的親信西拉木、岱昌等人為了報銷大量軍費和僥幸取勝，提前向道光皇帝報功，就在毫無準備的情況下，輕率地決定向英軍發動進攻。而這時候，英軍的力量已經大大增強了，也正計劃主動發起進攻呢！
道光二十一年四月初一日(公元1841年5月21日)，奕山下令分兵三路，分別由提督張青雲、總兵段永福、副將岱昌等人率領，進攻虎門的英軍。
當天夜裏，清軍又發動一千七百多名新招募的水勇和士兵，暗帶火箭、火彈、噴筒和釣鐮，乘小快船去襲擊英國船艦，還派兵包圍了珠江岸上的洋館，乘勢發炮轟擊。奕山聽見炮聲隆隆，看見火光衝天，滿以為是擊斃了英國兵，燒毀了英國的軍艦，等到天亮以後查看，才發現夜裏所燒毀的，全是中國民船，洋館裏的英國人，早在包圍以前就撤退了。
從第二天起，英軍發動反攻，首先進攻西炮台。駐守炮台的張青雲不敢抵抗，未戰先退，英軍登陸後全麵破壞了防禦工事，搶奪了大炮，並毀壞了停在炮台下的七十多隻沙船和火筏，還燒毀了民房店鋪，搶劫了洋行。接著，他們來到碼頭和炮台，隻隨意放了幾炮，駐守碼頭的段永福、岱昌就望風而逃，清軍一哄而散，隻有駐守東炮台和海珠炮台的清軍，對英國侵略軍進行了還擊，打中雙桅船“阿吉林”號，迫使英軍後退修船。但是這時候，其他炮台已經失守，英軍已分左右兩個縱隊強行登陸。這兩個炮台孤掌難鳴，隻得退下陣來。英軍乘勢攔截過往民船，把貨物燒毀，把男人和老年婦女推入水中，年輕婦女被拉到他們的艦船上，受盡了淩辱。
四月初五日(公曆5月25日)，英軍進攻廣州城北的四方炮台(又叫永康炮台)，清軍和英國侵略者展開了激烈的戰鬥。他們先用大炮轟擊敵人，敵人一窩蜂似的端著快槍刺刀從四麵八方衝了上來，大炮難以發揮威力，駐守炮台的兵勇立即衝出營壘，和敵人展開肉搏，雖然自己傷亡慘重，仍然英勇拚殺，給侵略者施以很大的打擊，終因孤立無援、寡不敵眾而慘遭失敗。