1939年秋，張嘯林發現杜月笙門下的那批狠角色在上海灘大開殺戒，鏟除了不少漢奸，心裏便發起慌來。春節臨近，有人要暗殺張嘯林的消息在上海灘傳得沸沸揚揚。張嘯林也不得不加緊防備。
隨著張嘯林叛國舉動的愈演愈烈，重慶方麵的不安與日俱增，除掉張嘯林已被提上議事日程。蔣介石曾親自指示軍統局長戴笠對張嘯林予以製裁。戴笠向潛伏在上海的軍統上海區發出了針對張嘯林的鋤奸令。此事由軍統上海區第二行動大隊分隊長陳默負責具體策劃和執行。
遠在香港的杜月笙也知道這位老兄弟將不久於人世了。早在1938年夏，杜月笙的得意門生之一汪曼雲到漢口出席國民黨各省市的負責人談話會。那時杜月笙也在漢口，住在四明銀行裏。有一天，戴笠在他自己家裏請杜月笙等人吃飯，汪曼雲與杜月笙的另外一位門生陸京士搭杜月笙的汽車一起去了。來到戴笠家不久，國民黨大員吳開先與陶百川也來了，賓主隻有六個人。
飯後，吳開先與陶百川先行辭去，房間裏隻剩下杜月笙、汪曼雲、陸京士和戴笠四人。這時戴笠單刀直入地對杜月笙說：“杜先生，大帥是不是轉不過身來？”
杜月笙明白戴笠的話外之音。他惆悵地說：“這也談不到轉不過身來與否，我想或許還是由於我們相隔較遠，傳聞失實吧！”
戴笠聽了杜月笙的話，雙手便在胸前打了個八字，“唔”了幾聲，在室內兜了兩個小圈子，又突然用雙手拍拍杜月笙的肩膀，堅定地說：“杜先生，你要大義滅親！”
杜月笙激動地說：“不管怎麼說，我們曾經是兄弟！我的人決不殺他。”
在歸途的汽車裏，杜月笙對兩位得意門生說：“聽了雨農（戴笠的字）今天的話，我替隔壁很擔心哩。”
既然戴笠早在1938年就下達了鏟除張嘯林的密令，為什麼張嘯林到1939年年底仍然活著呢？這裏麵是有原因的。軍統上海區第二行動大隊分隊長陳默是杜月笙的門生，在抗戰之前經常出入杜、張兩公館，對張嘯林以“爺叔”相稱。而且，他與張嘯林的兒女親家俞葉封在稽查處共過事，關係非同一般。上海淪陷之後，張嘯林在經濟上也曾多次暗中接濟他。所以，陳默在積極除奸的時候，就有意無意地把張嘯林放了過去。
到了1939年年底，鏟除張嘯林的行動已經不能再拖了。當時，坊間盛傳張嘯林即將出任偽浙江省省長，戴笠一再指示陳默，不能讓張嘯林得逞。坊間的傳聞並非沒有根據。有一次，張嘯林和土肥原在上海灘著名的百樂門舞廳喝酒。借著七分醉意，張嘯林拍著胸脯對土肥原說：“將軍，現在黃金榮已經閉門不出，等同於是頭死豬了。杜月笙也已經遠逃香港，上海他再也鞭長莫及。可以說，上海灘的幫會都在我張嘯林一個人的掌控之下了。”
土肥原眯著眼睛說：“是啊，是啊。張大帥，這兩年上海市場上的糧食、煤炭、棉花、藥品都讓你壟斷了，你可是發達了啊。大日本帝國往後必將更加倚重大帥。”
張嘯林又滿飲了一杯，有些激動地說：“可是，將軍，這兩年，我張某人頂著國人的罵名，頂著拜把兄弟的不滿，死心塌地地為大日本帝國服務，可謂鞠躬盡瘁，忠心耿耿。張某是個粗人，但也想著光耀門楣。上海市市長有傅筱庵擔任，我也就不湊熱鬧了。浙江省省長一職是否可以讓張某來擔335任？”土肥原仰起他肥嘟嘟的臉，笑眯眯地看著張嘯林，安慰他說：“大帥，不要急嘛。你先安心做你的生意，這糧食、煤炭、棉花、藥品的生意，鈔票不是大把大把的嘛！至於浙江省省長一職，小弟早就幫大帥報到大本營了，現在還在等大本營的批複。希望大帥，稍安勿躁。”
得到了土肥原的允諾，張嘯林信心滿滿，就等著他的“省部級高官”之位了。他的鐵杆兄弟兼兒女親家俞葉封也興奮得手舞足蹈。1940年1月15日，著名京劇演員新豔秋在更新舞台唱《玉堂春》，當時，俞葉封正在力捧新豔秋。而1月15日的演出又是新豔秋在上海的最後一場，俞葉封便力勸張嘯林陪自己去捧捧場。張嘯林迫於無奈，便在樓上包了正當中的幾個包廂，說好要親自駕臨，給新豔秋捧一次場。
這一消息很快便被軍統特務知道了。張嘯林因為臨時有事，取消了這一計劃，隻有俞葉封和幾個朋友到場。當晚，當台上唱得正熱鬧之時，突然響起了槍聲，一名殺手端著一挺機關槍，朝著樓上正中的幾個包廂掃射，俞葉封當場斃命。張嘯林得知消息，一麵慶幸自己不曾到場，一麵後怕起來。從此之後，他便不敢到公開場合露麵了。與此同時，他還一口氣雇了二十幾名身懷絕技的保鏢，安插在華格臬路張公館的周圍。日本憲兵也奉命前往張公館，保護張嘯林的安全。由於張嘯林防範嚴密，軍統特務一直沒有找到下手的時機。