“章先生年紀一大把，做官的興致高！隻要有官做，他跟誰都可以，但是他投了共產黨毛澤東，卻隻說是保障他的生活。既然隻為了生活的話，台灣、香港、美國……隨便哪一個地方，也要比共產黨那邊的日子舒服得多。”
晚間，休息過來，精神回複，杜月笙又提起了章士釗的往事，抗戰八年，杜月笙怕章士釗落水當漢奸，始終把他拉牢了同在一起，章士釗夫婦曾與杜家合住香港、同遊西北，尤其是曾同住南岸重慶，一應生活開銷，都由杜月笙負責，談到到這一件事，杜月笙嗬嗬一笑說：
“負責生活，毛澤東不過給了他一句言話，我杜某人倒是真負責過不少年啦！”
講過了往事，在一旁凝神傾聽的妻子、兒女，心裏都有了數目，章士釗怎能說服堅決反共的杜月笙？
然而，章士釗還是三日兩頭地來，有時候就在杜公館吃中飯，和滿座嘉賓、杜門中人同席用餐，說說笑笑，情景依稀當年，卻是許多熟朋友間已有相當的距離，場麵也顯得尷尬來兮。
一次，碰到多年交好的老朋友吳開先，晚飯過後，杜月笙邀章士釗、吳開先一同到陽台上歇涼，看香港夜景，任輕風拂麵。這時，章士釗忍不住又誇毛澤東何等的禮賢下士，獎推人才，他口口聲聲地保證，隻要杜月笙肯回大陸去，不論在何種情形之下，共產黨絕對不會虧待杜月笙。
時常登門，章士釗的這場統戰攻勢，要到幾時方休呢？杜月笙不耐煩時，自有他的退兵之計。為了早日結束這一場必無結果的冷戰。漸漸地，在跟章土釗談論之間，杜月笙開始反轉來勸章土釗“棄暗投明”，勸章土釗到台灣去，或者遠走高飛。
這時，杜月笙的秘書是胡敘五，他原是抗戰初期經黃炎培介紹過來的，抗戰八年、勝利四載，他為杜月笙效力甚多，杜月笙第一次旅港身邊的得力幫手是翁左青與胡敘五，第二次仍然還是這兩位，不過首度旅港杜門座客常滿，人文薈萃，如老虎總長章士釗，江東才子楊雲史，吳佩孚的高級幕僚樹千裏，都曾降尊紆貴，為杜月笙司過翰墨詞章。二度香港居，文墨方麵的工作就隻剩了胡敘五獨挑大梁，因為翁左青明於事理，善長分析，頗能出出主意，管理庶務，若論筆下功夫，新舊文學俱有根底，那他畢竟是及不上胡敘五的。
胡敘五隨同杜月笙到了香港，工作了一段時期，不知怎的忽然動了家鄉之思，起了還滬之念，口口聲聲地說要回上海。他這一決定使杜月笙大為不安，惟恐胡敘五回大陸引起無謂的麻煩與謠言，尤其旅港初期，胡敘五兼為杜月笙掌管機密，他曉得的事情太多，又怕共產黨對他加以利用。
因此，杜月笙便親自奉勸敘五兄沒這必要，不要冒險自陷共區！他一再懇切挽留胡敘五，但是，胡敘五辭意頗堅，杜月笙無可奈何，又叫跟胡敘五談得來的長子維藩和萬墨林兩人從旁勸阻。
萬墨林勸駕不曾發生作用，便由杜維藩接手，他約胡敘五到外麵吃咖啡。
杜維藩直打直地和胡敘五談判，他問胡敘五：
“敘五兄，你說老板從前待你好嗎？”
“很好。”
“那麼，你是否嫌比老板現在待你不如從前了？”
“我沒有這個意思。”
“敘五兄，”既然是多年交往的自家人，杜維藩便坦坦白白地說，“老板從前待你好，是因為從前的路子粗，進賬多，日子好過。現在跟從前大不相同了，現在老板在香港，一點進賬都沒有，就靠帶出來的那點錢，天長日久，坐吃山空。老板自家的日子不好過，跟他的人當然要比從前差一點，好在有粥吃粥，有飯吃飯，大家同甘苦共患難，所以我說你最好不要在這個時候離開，免得人家批評你不夠義氣。”
胡敘五並不否認杜維藩所講的話有道理，但是他去意已決，無法挽回。勸阻無效，胡敘五還是辭去了一幹十二三年的杜月笙秘書一職，他悄悄地回了上海。
機要秘書出缺，使杜月笙大傷腦筋，幸虧早年即曾在杜公館任過秘書的邱訪陌，這時也在香港，杜月笙便去請了邱訪陌來，接替胡敘五之職。但是，這一時期許多昔日的朋友和部下一個個跑回了上海，這使得病榻上的杜月笙心情總是陰霾霾的。