前麵說過，徐恩曾身邊曾經有三個女人，這第二個老婆，就是王素卿。
自從徐恩曾與費俠結婚後，王素卿便覺得自己與徐恩曾的緣分走到了頭。與其像雞婆那樣大鬧一場，不如想方設法利用徐恩曾的名頭賺點錢。於是王素卿來到成都，跟徐恩曾要了錢，注冊了一家運輸公司，搞起了運輸，也就是現代所說的物流業務。
在徐恩曾擔任交通部政務次長之後，王素卿便打著“交通部政務次長”的旗號，承攬了成渝、寶成、滇緬等黃金線路的交通運輸，專門從事藥品、布匹、五金等物資的物流生意，同時還開始走私物資，牟取暴利。除此之外，王素卿還以中統為靠山，四處發放高利貸。王素卿曾因催債，指使中統特務將一無辜的借債人活活打死。這件事後來還傳到了蔣介石的耳朵裏，為此，徐恩曾還挨了蔣介石一頓臭罵！
這個王素卿也不安分，雖然去了成都，與徐恩曾分居了，但是她的生活一點都不寂寞。她結識了小白臉李子友，並與李子友成宿成宿地在成都的高檔賓館裏鬼混。徐恩曾得知此事後，也未進行幹涉，他的沉默，讓王素卿更加猖狂，她的膽子越來越大，再不避諱，與李子友以“夫妻”之名開始同居。
小白臉李子友給徐恩曾戴綠帽子一事，令中統成都調統室的趙伯謙和葛炳生非常生氣。
這一日，趙伯謙跟葛炳生嘮叨了起來：“徐老板真能忍，換作我，早就宰了李子友了！”
“是啊，這兩人真是奸夫淫婦，天天打著徐老板的旗號，作奸犯科，無惡不作！幹脆咱們除掉這個李子友，也算給徐老板清理門戶！”葛炳生眼露殺機。
“好，我們幫徐老板清理門戶，徐老板一定會獎賞我們！”
於是，為了維護徐恩曾的形象，趙伯謙和葛炳生決定動手除掉李子友。
可沒想到，這兩個人還沒動手，消息就傳到了李子友的耳朵裏。李子友本來就擔心自己與王素卿的奸情敗露，徐恩曾對自己痛下殺手，聽到趙伯謙和葛炳生決定動手除掉自己的消息，更是膽戰心驚。
想到中統勢力巨大，逃是無路可逃的，李子友想起了一個人，那就是戴笠！在李子友看來，能夠救他一命的，隻有軍統局的戴老板了。於是，這個小白臉背叛了王素卿，偷偷跑到軍統局，把王素卿所犯下的一切罪行統統抖摟了出來。
戴笠聽完李子友的陳述，開心極了，他興奮地拍著大腿叫道：“真是天助我也！”
隨即，根據李子友的供述，戴笠給徐恩曾和王素卿列出了四大罪狀，每一條都可置徐恩曾和王素卿於死地。這四條是：濫用職權、走私戰略物資、縱容手下殺人、擾亂市場秩序。
翌日，戴笠帶著寫有這四大罪狀的文件走進蔣介石的辦公室。蔣介石看完文件後大為光火，拍著桌子怒斥：“娘希匹，我看這個徐恩曾是不想活了！”
1945年1月30日，徐恩曾得到了一個此生最大的噩耗：蔣總裁宣布，撤去徐恩曾本兼各職，永不錄用！
聽到這個消息後，徐恩曾仰天長歎。
徐恩曾怎麼也想不到，自己嘔心瀝血經營了數年的政途，就這樣被一個女人毀掉了！
1945年2月1日，徐恩曾在重慶川東師範中統局本部的信誼堂和葉秀峰舉行局長交接儀式。
徐恩曾向眾特務宣布：“從今日起，由秀峰擔任你們的領導，我就此做一個圓滿的結束。”
此話說完，徐恩曾臉色慘白，手指不停地顫抖。回憶自己走過的20年，回憶自己無怨無悔為黨國奉獻了20年，與共黨辛辛苦苦鬥爭了20年，徐恩曾暗自惆悵，在這20年裏，我徐恩曾青春已逝，白發早生，這20年，縱然沒有功勞，也有苦勞！唯一值得慶幸的是，官雖然丟了，總算還沒有丟掉自己的老命。
1945年1月30日，徐恩曾被蔣介石一擼到底之後，情緒非常消沉。吃嘛嘛不香，身體也出現了一些不適，偶爾去戲台聽戲，也總是打瞌睡。失魂落魄的徐恩曾感到自己的一生，不過是委員長的一顆棋子而已，“我像是一顆棋子，進退任由你決定，我不是你眼中唯一將領，卻是不起眼的小兵；我像是一顆棋子，來去全不由自己，舉手無回你從不曾猶豫，我卻受控在你手裏……”
與那些失寵的後宮妃子一樣，失寵後的徐恩曾也曾想過“力爭”，但礙於戴笠的威嚴，礙於蔣介石的決絕，沒人再幫得了他，“複辟升官”也就成了徐恩曾的癡人妄想。
時間一晃就到了1945年的5月5日，徐恩曾西裝革履地參加了他在政治生涯中的最後一次黨國大會——國民黨第六屆全國代表大會。作為480名與會人員的一分子，他是唯一一個落選中央政治局委員的。此時的他，在政途上已日暮西山了，他隻好決定，將此生餘下的精力轉向生意場，去做一個商人。