1943年11月1日是孔祥熙出任財政部部長十周年的紀念日，財政部在廣播大廈舉行慶祝會。對此局麵蔣介石實在是傷腦筋，如果出席，很可能會招致民眾不滿；但若不去，又恐傷害了親戚之間的關係。最後蔣介石決定“不赴廣播大廈，而赴財政部。不值而別”，對蔣的所作所為唐縱等人的理解是，“其處境亦良苦矣”！
麵對著國內外輿論的強烈攻擊，黨內也有不少人懷疑“總裁能將孔罷免以大快人心否”？唐縱則認為目前時期並不成熟，因為有蔣夫人的關係。唐縱的猜測不錯，盡管孔祥熙采取以退為進的方法，主動向蔣介石提出辭呈，但蔣立即將辭呈退回，並予以慰留。為此事蔣介石曾與陳布雷有過一段十分有趣的交談。蔣介石問陳布雷，外間究竟對孔祥熙有什麼議論？陳布雷回答說：
“普遍的批評，孔作生意，在北京政府時代買辦與官僚結合，南京政府時代買辦與官僚結合，尚有平津、京滬之距離；今者官僚、資本家、買辦都在重慶，合而為一。黨內的批評，孔不了解黨的政策，違背政府政策行事。”聽了陳布雷的話蔣介石深有感觸，但也沒說什麼，隻是表示現在沒有適當的人接替。對此陳布雷隻能感歎地說：“委座沒有徹底改革決心！”
恰好此時要在美國的布裏敦森林召開國際貨幣基金會議，因此孔祥熙就被委以中國政府的全權代表，於1944年6月22日率團啟程赴美，行前蔣介石還專門致函羅斯福，對孔祥熙盛讚不已，稱“孔博士與餘始終共事凡十六年於茲，對於中國政治、經濟及財政方麵之情形，充分明瞭”；雖然中國目前非常需要孔祥熙留在國內處理政務，但因此行“對於增強我中美兩國以及餘與閣下之友誼合作，深信必有重大之成就”，因此他才決定委派孔作為“餘個人最堪信任之代表”，前往美國洽談雲雲。
就在孔祥熙出國前夕，他以中央信托局理事長的名義向蔣介石遞交了一份報告，交代了孔令侃多年前在香港購置軍火而賺取大筆外彙的經過。這筆賬目事隔多年，孔氏父子屢屢拖延不報，為何在孔出國之前提交，這很可能是蔣介石迫於各方壓力，向他提出的要求。
按孔祥熙所說，抗日戰爭全麵爆發之初，國家急需向國外購買大量兵工器材，但因缺少外彙，辦理進口軍火之事極為困難。因此他便奉蔣之命由國庫撥出一筆專款，交由常駐香港的中央信托局理事孔令侃負責，令其在“不影響外彙而達到完成兵工儲料之目的”。
孔令侃接到命令後即以他的公開身份，並利用中央信托局在香港的機構與人員協助辦理。當時香港的外彙市場風潮迭起，孔令侃認為若投放大量國幣在香港購買，外彙市場勢必更加動蕩。因此擬具報告，建議以中央信托局的名義專門收購國際市場急缺的土特產品，並負責向外國銷售，用其所得之外彙，再向西方購買中國所急需的各種軍需物資。他的這一意見獲得批準，國庫先後幾次撥出購買兵工儲料專款法幣5600萬元，後因歐戰爆發，原有900萬元擬向歐洲購買子彈之款項因廠商無法交貨退回外，實際國庫撥出的款項共計為4700萬元。
孔令侃拿到這筆巨款後即委派其屬下，以統製經濟的名義在接近淪陷區及大後方各地采購各類出口產品，然後再銷售到國外。在孔祥熙眼中，孔令侃年齡雖輕，但卻極具生意頭腦，稱得上是一個生財有道的大炒家。因為他將售貨所得之外彙並不立即購買軍火，而是“隨時視察英、美國際關係變動情形，預測英、美、港彙漲落，先為轉換，種種運用，極費苦心”，然而經過這一番炒賣，“所得外彙數目，遠超過官價外彙之上”。這筆外彙除了一部分用來購買兵工署所指定的軍用物資得以完成任務外，其餘大部分資金再來炒賣外彙，幾經運作，所得利潤，實非常人所能想象。
1939年，由於孔令侃在香港私設電台被發現，港英當局將其驅逐出境，孔令侃被迫辭去中央信托局的職務，轉而去了美國。名義上，他宣稱是奉父命到美國哈佛大學“深造”，實際上卻是將其家族的部分資金、產業加以集中，在紐約設立了一個很大的辦事處，雇傭美國律師為他經營投資，開辟孔氏家族在美國的商業戰場，這其中想必也有他在香港經營外彙投機所賺取的超額利潤。
按理說，孔令侃既然離開香港，也不再從事軍火買賣，那自然應將手中的資金及賬目全數交出，可是他卻借口“其時因尚有一部分物資未能運出，一部分物資運出尚未銷售，因此全部賬目未能結束”為由，遲遲不予交接。至於前後賬目不一，孔祥熙解釋，是因“太平洋戰事發生，港滬淪陷，仰光失守，賬冊卷宗亦有未能攜出者，雖一、二項目已經先後整理，而全部賬目勢須戰事結束方能再行具報，至款項因或存港淪陷銀行，或者在英美售貨賬下，因此總數未能集中，致先後報告數目不同”。
據孔祥熙報告，這筆炒賣購買軍火的款項總共結餘的外彙計為5114992.96美元，22671英鎊8先令3便士。但是孔祥熙認為這筆錢“既係該理事奉鈞座命令特辦之購儲器材事件，因營運得法，獲得此款，如何處理殊成問題”。孔祥熙的意見是，這筆外彙既非國庫之款，於情於理都不應歸還國庫；同時它又不是中央信托局投資自營之業務，因而亦不能撥回信托局。孔祥熙說孔令侃曾為此事專呈具報，呈文中先是對蔣吹捧一番，稱大革命時期因“國內兵工建設多未完成，難以應付強敵，北伐以還，鈞座整軍經武，功在國家”。關於這筆款項的處理，孔令侃提議“可否將此款一部分撥充辦理重要兵工廠建設，用以紀念鈞座之豐功偉績，而垂永遠”；一部分則“以為中央信托局發展戰後貿易之需”，因為中央信托局“既屬國有營業機關，而不以營利為目的，其對於國際貿易擔負之特殊任務，所需資金自不能再由國庫撥給”；所餘之部分再對“協辦得力之人員酌予獎勵，以示慰勉”雲雲。
此刻距孔令侃經手買賣軍火已時隔六年，但他卻遲遲不將賬目交接；最後雖勉強交出，但具體數額則又前後不一，這本身就存在諸多疑點。盡管孔祥熙為此百般解釋，仍然漏洞百出，然而他的建議卻得到蔣介石的首肯。蔣介石閱畢報告後即親自手批：“此款準以百分之十五數目撥補中央信托局，為國際貿易轉周（周轉）基金之用，其餘之數，皆充作為製造飛機廠基金。”於是，這筆糊塗賬就這樣不了了之、蒙混過關了。
三 美金公債，暗中調查
國際貨幣基金會議結束之後，孔祥熙雖然長期逗留在美國，但國內倒孔的風潮卻絲毫沒有降溫。1944年9月5日，國民參政會三屆三次會議在重慶開幕，第二天財政部次長俞鴻鈞代表孔祥熙在會上作財政報告，參政員傅斯年帶頭開炮，強烈要求“辦貪汙首先從最大的開刀”，並提出四大問題：（1）孔及其家族經營商業問題；（2）中央銀行問題（任用私人，予取予求）；（3）美金儲蓄券舞弊問題；（4）黃金買賣問題。矛頭直指孔祥熙，其中最大的問題就是美金公債舞弊案。
太平洋戰爭爆發後，美國曾向中國政府提供了一筆為數5億美元的大借款，財政部部長兼中央銀行總裁孔祥熙決定在借款總額中撥出2億美元，各發行三十一年同盟勝利公債美金及美金節約建國儲蓄券1億元。雖然美金公債發行之初成效不彰，發行額還不到總額的一半，但不久情況卻發生了變化，因為外彙官價與黑市價格之間的差距日益擴大，美金公債的價格也急速上漲，1943年10月9日，孔祥熙向蔣介石秘密呈文，要求結束銷售美金公債。10月15日，中央銀行業務局局長郭錦坤在大後方的各大報章上宣稱，年前發行的1億元美金公債業已全數售完；然而實際的情形卻是，還有接近一半的債券根本就沒有出售。按規定這部分美金公債應由國庫局收回全數交還給業務局，再歸之於國庫。然而這些從各地行局收回的美金債券並未全數上繳國庫，其中有相當部分被掌管國家財金大權的那些人物，以“調劑同人戰時生活”為幌子，私下裏朋比瓜分了。這就是當時震驚大後方的社會和輿論，甚至引起美國朝野憤懣的美金公債舞弊案，矛頭直指孔祥熙。
麵對著國內日益高漲的倒孔浪潮，蔣介石也不得不開始考慮撤換的決定。
11月18日，蔣介石致電孔祥熙，一方麵對於他在美國處境艱難表示慰問，同時提出“最好兄能屈就駐美大使，以加重對美合作之表示”，這就意味著蔣介石已經決定撤換孔祥熙的職務了。
1944年11月20日國民政府公布內閣更換的決定，孔祥熙被免去財政部部長一職，由原政務次長俞鴻鈞繼任，此時孔行政院副院長的職務尚未撤換，但蔣介石已暗示他，希望他主動辭去行政院首腦的職務。同時提出在其未回國之前，由宋子文代理行政院院長一職。此時蔣介石如此急切要求孔辭職，很可能是因為他已發覺孔祥熙涉嫌美金公債的舞弊案了。
此刻蔣介石表麵上對孔祥熙還是盡量予以保護，但在暗中卻下令進行秘密調查。這一段時間蔣介石的日記中經常留下徹查美金舞弊案的記載，同時他還多次下令，命新任財政部部長俞鴻鈞徹查此案。
俞鴻鈞長期是孔的部屬，對於美金公債舞弊案原來隻打算敷衍應付，並不想認真調查，但見蔣介石如此認真，他也不敢再馬虎了。經過仔細核查，美金公債舞弊案的內幕終於浮出水麵。
據財政部調查，1943年10月15日美金公債奉命停售時，各省市售出數為43113440美元，預售戶售出數為54012330美元。關於預售戶部分，國庫局於停售後陸續撥交業務局債券計有預購債票42087410美元，以及1944年2月15日和6月1日兩次專案撥交債票共計11154520美元，合計53242330美元，均經業務局分別入賬。這些債票都是先行列入公記墊款戶賬，以後再分別調撥，計1944年4月4日及12月14日分兩次撥交中央銀行有價證券戶29130160美元，1943年1月12日及12月31日共分三次撥交中央信托局預購戶7510500美元，1943年11月23日至1944年6月10日陸續撥交客戶預購債票16601670美元。此外還有770000美元係國庫局局長呂鹹奉中央銀行總裁孔祥熙諭，留備轉發歐柏林和銘賢等機構文化事業之用，以上這些債券數合計正好與所報預售數相符。
至於上述陸續撥交客戶預購債券16601670美元，經查均係美金公債停售前數日央行業務局奉總裁孔祥熙批準而出售的，計德生公司等6戶320萬美元（10月11日）、怡興絲廠等12戶196萬美元（10月13日）、華懋工業廠等16戶665萬美元（10月13日）、仁和鐵工廠等17戶580萬美元（10月14日），總計應為17610000美元，但因債票不足，實際撥交出去的隻有16601670美元。而問題就出在這1660多萬美元身上。據俞鴻鈞呈報，“該局陸續撥交上項債券雖經付賬，但並未由各預購戶出具收到債券之收據，究竟各戶是否收到，無憑查核，且預購時亦並無任何憑證或登記手續可查。各預購戶雖有戶名，但均未留有地址，無從稽考”。俞鴻鈞在這份報告中還同時呈送中央銀行國庫局局長呂鹹的兩次呈文與孔祥熙的親筆批示等14份附件，其中中央信托局所認購的7510500美元債券中，除了400萬美元債票由該局下屬四個單位分別認購保管外，另外1010500美元債券由“本局同人奉準認購”，其餘250萬美元債票則“奉孔理事長諭，準代從前委托定購之客戶購買經讓購與各慈善團體備充基金之用者，計宋公嘉樹教育基金戶八十萬元，桂貞夫人醫務基金戶七十萬元，真道堂布道基金戶四十萬元，銘賢學院實科基金戶三十萬元，貝氏獎學基金戶二十萬元，慈善堂慈善基金戶十萬元”。
這份報告明確地指出美金公債的問題之所在，因此蔣介石閱後即認定“考慮徹查美金公債案已得要領，不難追究也”。他並立即致電孔祥熙：“據查美金公債剩餘部分有壹仟壹佰伍拾萬餘圓，預定已在停售以後付價給券，不合手續，應即將此等不合手續之債券飭令該行負責全數追繳歸還國庫，不得貽誤，否則即依舞弊論處，並將速繳確數呈報勿誤。”接著，蔣介石具體開列查核要點，命令俞鴻鈞迅速派員，限期進行調查。
此時蔣介石已察覺到美金公債一案涉及孔祥熙，但如何處理他還沒有決定，他在“本星期反省錄”中寫道：“美金公債舞弊案已有頭緒，須待庸之病痊回國也。”同時他將美金公債舞弊案初步調查結果告知仍在美國的孔祥熙，但孔並不承認。蔣在日記中記道：“接庸之電，令人煩悶，痛苦不知所止。”他再與俞鴻鈞商討進一步調查美金公債的案情，然而此案真的牽涉到孔氏家族，如何處理確實十分棘手，因此他也認為，此事“甚難解決也”。
四 真相大白，不了了之
5月，國民黨召開六全大會，其中最重要的議程就是選舉新一屆中央委員，黨內各派係四出拉票，盡管蔣介石竭力活動，但因孔祥熙等財經官員的貪腐行為引起朝野上下強烈不滿，這在選舉的得票中可以印證。蔣介石也不得不在日記中承認：“此次大會選舉中委，在舊中委當選者以庸之與徐堪為最低，而全會選舉常委，且竟落選，其信望墜落至此，猶不知餘往日維持之艱難也，可歎！”
鑒於這種情形，蔣介石決定行政院改組，他與孔雙雙辭去行政院正、副院長之職，由宋子文和翁文灝繼任。蔣介石認為：“餘與庸之辭去行政院正副院長，亦為政治上必要之措施，深信此舉必於今後政治之效用甚宏也。”因此蔣介石再次曾致電孔祥熙曰：“事已如此，對美財政經濟等未了諸事不如交托子文負責辦理，請兄從速回國襄助，以免事出兩歧也。”蔣又致電正在美國訪問的宋子文，一方麵通知他已真除行政院院長，但同時又提醒他：“在美時對庸兄應特加禮遇尊重，諸事並須與其切商，以增加我內親之情感與免除外人之猜測，此乃兄之責任所在也。”說明蔣此時還是有意對孔加以保護，其目的就是要“增加我內親之情感與免除外人之猜測”。
蔣介石將撤換孔祥熙之舉稱之為“以公忘私”，但他的這種心態其實外人都看得很清楚，王子壯在六全大會結束後的日記中記道：“蔣之政軍方麵，除軍事自理外，財政在前麵由宋子文，近六七年則由孔祥熙主其事。以才論，孔不如宋，但為人易與。同時孔則懼內，孔夫人宋靄齡及其子女好貨特甚，廣事搜刮，醜聲四播，社會側目。參政會中迭次提出質問孔氏，均由蔣保護，多方開脫。人以是短蔣，以其不辨是非、以護近親也。”
7月8日，赴美一年有餘的孔祥熙終於回到重慶；就在同一天，第四屆國民參政會第一次會議也在重慶開幕。蔣介石原想以孔祥熙辭去財政部和行政院的職務來減緩外界的壓力，哪知道孔氏豪門貪腐行為實在是引起眾怒，朝野上下，群情激憤，特別是代表民意的國民參政員陳賡雅和傅斯年等人又掀起了新一輪倒孔的高潮。
蔣介石此時心情十分矛盾，這在他的日記中可以得到印證：
布雷來言，中央銀行舞弊案已有人在參政會提出雲。餘乃召庸之，告以此案調查經過與事實及人證物證，屬其好自為之，彼總不肯全部承認也，可歎！（7月11日）