胡適不僅是外交官而且又是一位國際著名的學者。正因為如此，所以他除搞好本職工作外，還要應付美國學術界，並與之進行學術交流，應邀出席各種學術會議。為此，他常常工作到深夜，自己起草文件及寫演講稿。這年夏天，他在給王世傑的一封信裏說：“今年體質稍弱，又旅行一萬六千英裏，演講百餘次，頗感疲倦。6月以後，稍可休息。我在此3年，不曾有一個周末，不曾有一個暑假。今夏恐非休息幾天不可了。”人們或許要問一年講了100多次，那麼四年裏講了多少次呢?這問題據他後來回憶說：“本人在美任大使數年，赴全美各地演講400次之多，從未帶過隨員，自己提皮包。如此而作，實係為戰時國家節省外彙。”可見他在大使任內為宣傳抗日及文化交流做了大量的工作，為中美友誼作出了貢獻。美國學者費正清在其《五十年回憶錄》裏評論胡適任大使時說，“他很會和美國人打交道，這使他成為中國聯係美國公眾的一位高級人物。”由此看出胡適在美國民眾中的印象是良好的。當時許多大學都以名譽博士學位相贈引以為榮，所以他僅在1942年就接受了10個名譽博士學位：達脫茅斯學院文學博士、第納遜大學文學博士、紐約州立大學文學博士、俄亥俄州立大學法學博士、羅切斯德大學法學博士、奧白林學院法學博士、威斯康辛大學法學博士、妥爾陀大學法學博士、東北大學法學博士、普林斯頓大學法學博士。這些榮譽不僅表達了美國學術界對胡適個人的評價和推崇，而且也表達了美國民眾對中國人民英勇抗日的敬意。然而，正當胡適在華盛頓大學講演“聯合國”之後的第三天即9月8日，國內國民政府行政院開會決議：準駐美大使胡適辭職，以魏道明繼任。其實這是罷官了。
胡適是個學者，長期從事於教育工作，對外交工作可說是門外漢，按職業外交家的觀點嚴格說來他是不夠格。但他以做學問的精神來嚴肅對待工作：能苦幹、忠於職守、誠懇待人，再加上他的道德文章及國際聲望，因此獲得駐在國政府與民眾的信任和尊重。從這方麵來說他又是非一般外交官可比擬的。這可由當初與之同行的張忠紱回憶錄得到證明，他說：“20世紀的外交家應當是一位誠實可親，廣交遊，平易近人，能獲駐在國一般人民愛戴的真君子。適之正是這種人物。他曾一度贏得‘一個偉大的民主人’雅號。抗戰期間，由他先之以半官式，繼之以正式大使的身分駐在美國，這對於國民政府甚為有利。獨惜在美國戰爭爆發後他被撤換，外交部長亦由宋子文繼任。”從中不難看出，他是被國民黨高層人士排擠掉的，而且醞釀時間已經很長了。
早在1940年6月宋子文以蔣介石個人代表的身份到美接洽貸款事後，這問題就已逐步表麵化了。當時外麵有胡適調職的傳言。這不是空穴來風。據王世傑在一封致胡適的信裏說：“兄一生是一個友多而敵亦不少的人。……兄自抵華盛頓使署以後，所謂進退問題，便幾無日不在傳說著。有的傳說出於‘公敵’，有的傳說出於‘小人’，有的傳說也不是完全無根。”可見胡適出任大使，在國民黨內部是有分歧意見的，不過當時處於國難當頭的時候，國民黨裏麵沒有哪一位官員比胡適使美更為合適，所以蔣介石才把駐美大使的帽子給胡適戴上。但難關一過，有利可圖時，他們內部又爭起來了。宋子文在給蔣介石的密電中說：“援華空氣固逐漸濃厚，惟美日戰爭尚未開展。欲其切實援助，非空文宣傳及演說所能奏效。”又說：“欲得美國之援助，必須萬分努力，萬分忍耐，決非高談空論所能獲效。”很明顯這是向蔣告胡的狀，說他隻作著“空言宣傳”，不解實際問題，因此宋提出讓施肇基來擔任這個角色。蔣當時沒有采納他的意見，顯然是因為那時國內抗戰進入最嚴重階段，還需要胡適在外交上抵擋一陣，所以沒有把他拉下馬來。然而，當情況有所好轉時，這個問題又提到日程上來了。因此，1942年8月蔣介石已決定免胡大使職，並以此征求本人同意。胡於15日得到電報後，當晚回電稱：“蒙中樞垂念衰病，解除職務，十分感激。”可見胡適對此毫無戀棧之心。既得其同意，因此國民政府外交部即於同年9月13日正式通知駐美大使館，略謂，“9月11日府令：駐美大使胡適、駐法大使魏道明另有任用，均應免職。又令，任魏道明為中華民國駐美利堅合眾國特命全權大使。”胡適接電令後，因平時財務公私分明，故隻用了5天的時間就辦完了交接手續，於18日離開華盛頓，移居紐約；因心髒病不能作長途飛行。仍暫留美國。據趙元任的妻子楊步偉說：“他卸任駐美大使後，我就勸他離開政治回到教育界來。蓋我知其為人，一生忠誠和義氣對人，毫無政治手腕，不宜在政治上活動，常為人利用而仍自樂。”由此可看出他之上任及下台，都是有其原因的。後來，當宋子文任代行政院長時，胡適在日記中寫道：“如此自私自利的小人，任此大事，怎麼得了。”
胡適在大使任內力疾從公，為國事而奔走呼號，故贏得國內外一片讚揚聲。但反對派的批評言論也不少，因此，其妻江冬秀甚為之擔憂，總希望他早日脫離官場回到教育界來。1940年春，中央研究院院長蔡元培在香港逝世後，有該評議會公推胡適繼任之傳說，江得知後，寫信勸胡適不可接任。她說：“昨天看見孫先生，他開會回來見我，頭一句話替我恭喜，說你就要回來了。我莫明(名)其妙，他告訴我，命你回來做研究院長。我聽了狠(很)不好過。騂，你知道我皮(脾)氣處處不忌那一種假仁假意的朋友，有點肉麻他不過。你要知道，萬一有此事出來，你千萬那(拿)定主意，不要耳朵軟，存棉花。千萬你的終止(宗旨)要那(拿)的定點，不要在(再)把一支腳，躂(踏)到爛呢(泥)裏去了。再不要走錯了路，把你前半身(生)的苦功放到冰泡裏去了，把你的人格思想毀在這個年頭上。……我忌意你出來教書，找飯吃好的多。”從這封信裏可看出，江冬秀對胡適置身於官場是極不放心的，哪怕是像中央研究院這種學術機關也是如此。所以時時在叮囑他，希望早日回到教書崗位上來。她的這種關懷，胡適是很感激的，寫信安慰她說：“你談起中央研究院的事，此事外間有許多傳說，我無法過問，也無法推辭。我並不想做院長，但我此時聲明不幹，那就好像我舍不得現在的官了。所以我此時一切不過問。”其實這件事，隻是研究院的評議會提名而已，當時推選了三人，即朱家驊、翁文灝、胡適。後來官方決定以朱家驊為代理院長。至此這場風波方告平息。不過從這件事中反映出江冬秀對胡適在官場裏是極不放心的；而胡適最終沒有走上政治舞台，這與其妻的反對多少是有一些關係。
胡適這個人工作雖忙，但當他閑下來時，不免要打開他那心靈的窗戶，對往事或遠方的有情人作一些回憶，或是作首詩來抒發一下自己的情感，這恐怕是人之常情!1941年冬，他寫了這樣一首《無題》詩，他說：
電報尾上他加了一個字，
我看了百分高興。
樹枝都像在跟著我發瘋。
凍風吹來，我也不覺冷。
風嗬，你盡管吹!
枯葉嗬，你飛一個痛快!
我要細細的想想他，
因為他那個字是“愛”!
胡適這首詩，從字麵上看來無疑是一首情詩，但不知詩人在懷念誰。不過從史料上來看，很可能是在懷念他的表妹曹誠英!因為這年曹在四川重慶生活很不得意，而且還得了重病，先是住醫院，後轉到鄉下休養。這些情況，胡適可能是知道的，因那時曹誠英有一位名叫吳素萱的中央大學時的女同學正在美國威斯康辛大學留學。這年春準備回國，在臨走之前曾寫信向胡適報告了曹的近況，並詢問有何信息要她傳達。在信裏她說：“連接珮聲(即曹誠英)信，曆述三年來苦況。伊身體素弱，近更百病皆生。據其他同學來信雲，珮聲肺病已達第三期，令人聞之驚駭!珮聲之聰明才能，在同學中不可多得；惟不能驅情魔，以致懷才莫展，至以為惜!伊每來信，輒提及三年來未見先生隻字，雖未必如此，然伊渴望先生之安慰可知。萱擬歸後，先去看珮聲，如先生有信息或其他帶珮，當不勝歡迎。”(原件摘要)可見胡曹之間的關係，在她們同學好友中是知道的，而且都很同情他們。胡適是個多情的人，怎能無動於衷，當時寫了一封信並附上200美元請吳帶回以表思念之情。胡適的這封信，比靈丹妙藥還靈，曹女士本來打算要出家當尼姑去的，看了胡適的信，出家的念頭打消了。胡的信今天已不複存在了，說些什麼我們無從知曉，但吳素萱的信還存在，從她的信中我們還能知道個大概。吳說：“我到了重慶時，第一件事當然是去看珮聲。但到中央醫院時，她出院了，而且無人曉得她的去向。上星期總算得到了她的來信。她曉得我帶了你的信來以後，已快活的忘卻一切煩惱而不再作出家之想了，可見你魔力之大，可以立刻轉變她的人生觀，我們這些做女朋友的實在不夠資格安慰她。你托帶的200美元，已托家兄代收，並送交珮聲，大概不久珮聲即有信報告你一切。”從這兩封信的內容來看，過去可能有很長一段時間他們彼此沒有通信了。曹很消極，以致精神崩潰。這與當時的處境有關係。但胡對她的有意疏遠也可能使她很傷心，所以當她接到胡的信後才又重新振作起來走向新的生活。1942年她到複旦大學農學院任教直到1952年。這說明胡適從精神到物質的幫助是起了作用的。之後，曹與胡鴻雁往還那是自然的了。因此，上麵的那首詩，從時間上來說很可能是胡適在懷念小表妹的詩句。
為《水經注》斷案
胡適卸任大使的消息傳出後，美國《紐約時報》表示驚奇和遺憾，發表評論說：“重慶政府尋遍中國全境，可能再也找不到比胡適更合適的人物了。”又說：“美國朋友對他期望至高，而他的實際表現又遠超過大家對他的期望。他所到之處，都能為自由中國贏得支持。對於他的去職深感遺憾尚不足以表達我們的心意。”可見美國輿論對胡適去職深表留念。
這種心情，同樣也表現在華盛頓中國大使館內。當胡適離開大使館那天，許多朋友都來送行，館內秘書劉鍇卻躲在胡適屋裏不願出來見人，原因是他的眼睛已經流淚，怕人家看見不好意思。後來，劉一直坐火車把胡適送到巴爾的摩(Baltimore)站才回去，分別時胡適也掉淚了。可見胡適被政府撤職，輿論民情是不服的。
胡適當然也想不通，這倒不是戀棧，因為他過去曾表示過隨時可以走人的。不過他認為這樣下台並不光彩，是對他在困難時辛勤工作成績之否定。因此當他退居紐約後心情甚為不好，又加上心髒病時常發作，可以說是處於貧病交加情況之下。據當時與他常往來的趙元任夫人楊步偉說：“其時很多大學爭聘其為教授，他因一時灰心，寓居紐約，謝絕一切邀請，其後因經濟發生問題，其大使下任時銀行隻存1800餘元，而又為我們再三敦勸，始就哈佛講學一年，後又到各大學去講學。”這便是他離職後在美國處境的大概情形。這些情況在國內也是有所傳聞，所以沈從文在給胡適的信中深表同情地說：“20年中死的死去，變的變質，能守住本來立場的老將中隻剩先生一人，還近於半放逐流落國外，真不免使人感慨!”以上所述就是這位書生大使的下場了。