就在總督府前麵打的熱火朝天的同時，總督府後門外的小路上，大隊的英國人開始向太平山上轉移。
因為兵力的不足，光複軍對總督府的包圍采取的是“圍三闕一”的方式，總督府後麵背靠太平山的一麵，光複軍並沒有派兵把守。這裏地勢陡峭，道路崎嶇，無法通行大部隊，而且隻有一條小路通往太平山頂，所以李向前並不擔心英國人會從這裏逃走。這個不算大的疏解忽也給英軍各部取得聯係提供了機會，施賓托齊派出十多名熟悉地形的士兵，穿山溝，鑽草叢，繞過光複軍的陣地，才好不容易的把自己的命令傳達下去。
上將先生已經明確了一點，繼續困守總督府是沒有出路的。光複軍人數雖不多，但武器先進，彈藥充足，還有兩輛火力強大又無法摧毀的鐵甲車，攻破總督府是遲早的事。他們現在對總督府的包圍，隻是打算更多的消滅回援的英軍。圍城打援，各個擊破的戰術，上將也是懂的，隻是他現豐沒有更好的辦法打破這個困局，而海軍的失敗更給他麵對的局麵雪上加霜。入夜以後，雙方進入中場休息階段，但上將相信，明天他將麵對光複軍更猛烈的進攻。在與市政官員和紳士代表商議過後，他作出了全體突圍的決定。
突圍的計劃是采取最簡單的聲東擊西的辦法，先讓部隊擺出要與光複軍決戰的架勢，把光複軍的注意力都吸引到總督府的正麵。從東西兩麵回援的部隊也配合把聲勢搞大，而平民在軍隊的掩護下翻越太平山、田灣山和班納山，然後從黃竹坑（也就是未來海洋公園的位置）上船，由海軍運送到廣州。陸軍在完成掩護任務後，也分批撤往赤柱，全軍放棄香港，退往廣州再做打算。
當平民們聽到要放棄香港的消息不禁大嘩，一些女性甚至失聲痛哭，很多人都是在本土混得不好所以才到遠東來闖蕩的，經過十幾年的努力，好不容易掙下一份產業，現在卻一點不剩的放棄，很多人可能就此跌入赤貧，怎麼會不讓一眾平民群情激憤呢？
麵對憤怒的平民，市政官員盡力安撫，做為最高負責人的斯賓托齊也不得不站出來說兩句。此時，大約兩千平民都聚集在後花園，幾個零星的火把隻能照到模糊的人影，上將走進人群，感受到周圍都是一道道憤怒的目光。他先是靜靜的注視了一會兒這些同胞，然後才用低沉的聲音說道：“女士們，先生們，我是駐香港英軍司令查爾斯·萬·斯賓托齊，我有幾句話對大家說。自從1840年與中國人的戰爭以來，這的十多年時間，我們曆經種種艱險，克服重重困難，一點一滴埋頭苦幹，才建立起這個可以給我們遮風擋雨的自由港。所有人都付出了自己最大的努力，有的人甚至還獻出了自己的生命。正是這些烈士的犧牲，才換來了我們今日的安定。但是，今天我不得不遺憾的通知大家，我們不得不放棄這個城市，不得不放棄這個我們為之流血流汗、為之英勇犧牲的家。”說到這裏，斯賓托齊明顯情緒有些激動，隻好停頓了一會兒，“現在，整個香港地區形勢都十分嚴峻，多個炮台相繼失守，中國人也變得越來越活躍，越來越凶猛，單薄的防線已經擋不住他們的攻擊。為了大家的安全，我們隻好放棄這裏，到更安全的地方去。明天，皇家海軍會派船來送我們去廣州。請大家現在就開始收拾行李，隨時做好撤離的準備。我在這裏保證，軍隊一定會保護大家安全上船。同胞們，大家不要氣餒，不要灰心，不要沮喪，今天的離開，正是為了明天的回來。我堅信，勝利一定是屬於我們的！上帝保佑女王和聯合王國！”用一句爛俗的口號，上將先生結束了自己的講話，然後向周圍的人深深的鞠了一躬。
聽完上將的宣言，大家表情各異，有的發呆，有的平靜，有的沮喪，人群無聲的散開了。懷著對未來的希望，大家開始默默的收拾行裝，除了極個別要錢不要命的人，絕大多數人選擇了撤離。
十點鍾，總督府前的戰鬥正式打響，撤離行動也正式開始。以一個步兵排為先導，大隊平民悄無聲息的從總督府的後門魚貫而出，踏上了這段不算太長的艱苦的旅途。雖然沒有經過軍事訓練，但整個隊伍沒有人說話，一股悲壯的氣氛在隊伍裏彌漫，隻能聽到一些輕聲啜泣的聲音。上山的路並不好走，這是一條隻能兩人並行的小路，而且為了不暴露目標，隊伍也沒有點燃火把，隻能依靠點點星光照明，在崎嶇的山道上蹣跚前行。平民女子平日裏為生計奔波，倒不以為苦，那些貴婦人嬌小姐就倒了大黴，一個兩個穿著維多利式的大撐裙，不僅行動不便，還經常被路邊的荊棘灌木掛住，拉扯之下華麗的絲綢裙子變成了布條，有的甚至連襯褲也被掛破，弄得春光外泄。看到這些平時高高在上的貴婦人如此狼狽，其他平民有一種哭笑不得的感覺。
隊伍上了山頂，大部分貴婦人如同累散架了一般癱坐在地上，說什麼也不肯再走了。負責護送的戴維斯急得上火，又能象對待士兵那樣動粗，隻得讓其他平民繼續下山。平民的行動速度太過緩慢，光上山就差不多花了兩個小時，而且因為山路狹窄，兩千人的隊伍稀稀拉拉的足有一公裏多長，隊頭已經到了山頂，隊尾還在山腳，照這個速度天亮之前不能全部撤完就麻煩了。戴維斯隻得一邊催促其他平民快走，一邊想辦法把這些貴婦人弄下山。