威妥瑪屬於明顯的中立派，此前他並不支持密迪樂這種毫無限製的倒向太平天國，也不支持克利福德那種不切實際的妄想，他還是讚同額爾金的做法，在北方扶植起一個滿清傀儡政權來，然後英國提供武器和資助，這樣就能夠最大限度的拖延或者阻止太平天國在遠東的強勢。可惜太平天國領導層的政治智慧似乎不比他們差，那位西王和天國外交部雖然一直和英法敷衍著，但他們早已經洞若觀火的明白了英法的舉動，於是才有了北京城下開戰的一幕，這徹底打亂了英法的戰略布局，突如其來的宣戰讓英法感到無所適從。所以這會兒威妥瑪也在思考著其他出路，作為中立派此刻聽完密迪樂和亞曆山大的建議，似乎這個建議才是最好的。
太平天國現在治下人口眾多，其動員能力相當可怕，威妥瑪也認為就算英法再派十萬遠征軍來到遠東，也不能夠打敗太平天國的陸軍，但海軍不一樣，他們能夠長期襲擾太平天國漫長的海岸線，任何一個港口都可能被聯軍海軍襲擾，而太平天國也不可能長期防禦港口，這將嚴重影響他們的經濟。而要造成這種局麵，聯軍必須消滅太平天國的海軍，這樣才能將太平天國在海上抵抗聯軍的意誌徹底消滅掉。然後英法就能夠和太平天國體麵的談判，從而結束戰爭，至少能保證英法的利益。
同時，威妥瑪也讚同密迪樂的意見，消滅太平軍海軍之後就是最好的和談時機，假如錯過了這個機會，太平天國一狠心，在各處港口玩命的放些水雷封鎖港口，徹底斷絕對外貿易，那也是英法不願意看到的，所以在到時候的談判中，英法也不妨放棄一些要求，更何況人家手中還捏著九千多名英法戰俘。
所以威妥瑪表示讚同密迪樂的意見，他接過密迪樂冗長的建議書，表示一定會據實呈報回國去。隨後兩人商量了租界內的情況，密迪樂認為太平軍不會攻陷租界，他們隻會將租界圍困起來，所以密迪樂建議除了軍人和必要的外交人員之外，其他的平民商人都應該撤退回香港。
兩人統一意見之後，馬上約見陶恩培，將英法希望將租界內的平民撤出的意願說了。陶恩培這個老頭笑眯眯的聽完，一雙看似昏蒙的眼睛卻將兩人看得心裏打鼓，最後老頭笑著說道：“兩位是想將英法租界變成一個大軍營啊，不過我們太平天國無所謂，一旦租界裏的平民全都撤退了，我們講武學堂的炮兵科已經準備將租界當做炮兵培訓場，每天都會有實彈炮兵演練，想必兩位也不會有什麼意見的吧。”
威妥瑪和密迪樂麵麵相覷，想不到這老頭如此的公然威脅，要是太平軍對租界進行無差別炮擊的話，租界裏英法兩國辛辛苦苦營建的一切房屋和設施都將灰飛煙滅了。密迪樂勸說了幾句，威妥瑪暴跳如雷的反威脅，但陶老頭卻是油鹽不進，最後兩人隻得放棄。
低聲商議幾句後，兩人最後向陶恩培提出撤走租界裏的老弱婦孺，名單和人數由英法提供。陶恩培笑了笑微微頷首，表示基本同意隻撤走老弱婦孺這個計劃，但名單和人數就不必英法提供了，陶恩培出示了幾分冗長的名單，上麵居然都是英法租界內的人員名單，密迪樂看了之後大吃一驚，想不到這份名單比他手上的還更為詳盡，足見太平天國老早就在收集租界的所有情報，而租界裏的中國人也不知道有多少是他們的探子細作。
最後，威妥瑪和密迪樂隻得按照那份名單逐一核對後確認了需要撤走的人員，威妥瑪希望能夠讓幾位重要的商人一同撤走，以確保他們的安全，比如克利福德、亞曆山大等人。陶恩培也爽快的同意了，但他卻提出克利福德不能留在香港，他必須回到英國去，換一個頭腦清楚的人過來，這樣一個頭腦不清的人留在遠東隻會讓羅斯柴爾德家族在遠東的利益受損。
密迪樂也樂意盡快送走這尊瘟神，他對克利福德的好感早就降到了最低，而威妥瑪也沒有表示反對，在他看來克利福德和亞曆山大的意見相左，亞曆山大也不希望這位少爺留在遠東的。
雙方草簽了一個交換協議，第二天開始便由太平軍接送撤走的老弱婦孺，雙方在吳淞口交接，至於太平軍的運送費用自然是少不了的。
當克利福德知道自己要回香港之後，他馬上要求密迪樂去尋找他還留在徐家彙大教堂的妻子。密迪樂原本不樂意去做這件事，但經不起怡和洋行亞曆山大的請求，最後隻得厚著臉皮請求陶恩培派人尋找。
陶恩培也做了，他讓一名傳教士去了大教堂尋找，但最後隻帶回來一封信給克利福德。先前克利福德也收到過李璿璣托英國士兵帶回來的信件，上麵隻說了她不願意回租界，現在這封信更絕，李璿璣在信上表示，她隻想留下來和南丁格爾搞慈善組織，呼籲停止戰爭的暴行，除非英法和太平天國停戰，否則她將終身不回英國。