１９４９年５月３日，船抵香港。杜月笙在陸根泉為他找的堅尼地１８號安頓下來了。５月２７日，上海國軍因抵抗不了解放軍的進攻撤出了上海，同一日，楊虎、吳紹澍等自大西路引入解放軍。共產黨指派陳毅為上海市長。陳毅進入上海後，所辦的第一件事，便是“情詞懇切”地公開致電旅港上海耆紳、金融工商“領袖五大亨”，杜月笙、陳光甫、李馥生、宋流章和錢新之。
但是，陳毅的長電卻猶如石沉大海，“五大亨”並無隻字片語的答複，於是，陳毅又派與“五大亨”關係頗好的徐采丞以上海市地方協會秘書長的地位與關係，專程跑一趟香港，迎接杜、陳、李、宋、錢“五大亨”返滬。徐采丞卻為自己脫離虎口，和陳毅耍了一起噱頭，他抵達香港以後，自己從此也不回來，留在香港，不再回到上海了。
隨後，杜公館的各色人等陸陸續續地到了香港。堅尼地１８號房子不但不合理想，而且不成格局，廳不像廳，房不像房，真正能派得上用場的，簡直數不出幾間。
但是，杜公館到了香港的人可不少了，從杜月笙以下，有三樓孫太太，姚玉蘭與孟小冬，長兒、長媳維藩夫婦已經有４名兒女，次子維垣、三子維屏、五子維新，都已建立小家庭，七子維善、八子維嵩還在讀書，外加大小姐杜美如，孟小冬的義女養娟，光是家中的眷口便有２０多人，何況還有跟出來的隨從徐道生、司機小阿三鍾錫良、大司務“小鴨子”及其下手、男仆陸圓、解子信、女雇阿妹、小妹等４人，傭人就占了１０個之多。
而堅尼地１８號一樓一地的房子，樓上住的是陸根泉一家，樓下杜公館，既無庭園，又缺圍牆，外麵的人朝裏望，可謂“開門見山，一目了然”，全屋精華所在惟有一間半圓半方的大客廳，正房隻有３間，其餘小房都是將就用走廊空隙隔出來的，一間做了秘書胡敘五的辦公室，另外３間住了杜美如和杜維善、維嵩兩兄弟。姚玉蘭和孟小冬的兩間附在杜月笙的大房間外麵，劈麵相對，而且聲息相通。
將這幾個人勉強分配好房間以後，再要住人，便毫無空隙。廚房邊一小間隻夠住一兩個傭人，其他的傭人必須住在外麵，每天早出晚歸。
因此，二樓陳太太一度由台灣到香港，她反倒住進新寧招待所，三樓孫太太則在外麵與兒子同住，杜維藩的太太先帶小孩到香港，住過九龍李麗華的房子，後來杜維藩乘海輪抵港，一家６口便花兩萬港幣，在建華街買了一層樓，而跟同從上海來的王新衡隔街對門。其餘成了家的三兒一女，則杜維屏住堡壘街，杜維垣、維新住在渣華街，二小姐杜美霞嫁給了金元吉，她是金公館四少奶，金廷蓀由上海帶出來的一大家人也住在渣華街上。
抵達香港後杜月笙由於精神體力的關係，加以當時環境之所限，心情蕭索，早已失卻創辦事業養家活口，作長期打算的壯誌雄心。這麼一大家人的生活所需，他自己每月要港幣兩萬以上的龐大醫藥費用，光隻堅尼地一處一月開銷至少也得港幣６萬之數，杜月笙帶一大家人到香港，他打的是什麼算盤？隻好“坐吃山空”，用光為止。這位當代聞人、揮金如土的上海大亨杜月笙，１９４９年離開上海的時候他一共隻有兩筆財產，其中之一，是美金１０萬，當年曾因預儲子女教育費的關係交給了好友宋子良，請他帶到美國代營“生意”。另一筆，約有美金３０萬，這是出賣杜美路那幢渠渠華廈之所得，在楊管北的幫助下早已提出預存於香港，留下來應付杜月笙逃難到香港的生活所需。
杜月笙一家人遷居香港不久，便有一筆找上門來的好生意。