然而這些“意料中的事情”統統被監督陳蘭彬視為大逆不道。他一方麵用各種紀律約束和懲罰留學生；一方麵不斷向總理衙門告黑狀，說留學生們在美國如何離經叛道、貪圖享樂，副監督容閎如何崇洋媚外，對學生不加管束，放任其墮落等。
容閎隻能在暗地裏幫助和支持留學生的合理行為。例如，在第二批留學生中，有一個叫容揆的，憑著出色的成績考上了哈佛大學，即使在美國學生中這也是值得驕傲的。可因為剪了辮子，陳蘭彬便取消了他的公費留學資格，勒令他終止學業回國接受處分。容閎知道為中國培養這樣一個人才不容易，暗中幫助容揆留下，自己掏錢資助他攻讀大學。
陳蘭彬向總理衙門告狀的同時，容閎也多次寫信給李鴻章，為自己和留學生們辯護。李鴻章支持容閎的觀點，寫信安慰他說：學生大部分生於廣東，年紀輕輕就出洋，沾染上一些洋習氣是難免的，我和你一樣認為不必深責他們。但是出於對朝中頑固勢力的妥協，李鴻章始終沒有大張旗鼓地公開支持容閎，在肄業局三次人事變動中，容閎一直隻任副監督，最終導致留學計劃一步步走向破產。
1873年，李鴻章命陳蘭彬和容閎分別前往古巴調查華工問題。陳蘭彬完成任務後藉回國休假之機又到總理衙門告狀，堅決要求辭職，推薦區諤良任監督。清廷認為是陳、容二人權力之爭，將二人全都調離肄業局，改派陳蘭彬為駐美公使、容閎為副公使。容閎立即寫信給李鴻章求助。李鴻章深知留學生事業除了容閎以外，無人能夠勝任，撤換容閎等於斷送這項事業。在李鴻章的努力下，容閎得以繼續以副公使的身份兼任留學生副監督，區諤良為正監督。
新監督翰林院庶吉士區諤良走馬上任後，下榻豪華賓館，帶著一大家子妻妾兒女飽覽美國湖光山色，對於留學生的事情不聞不問。而後便找個借口回國了。清政府派容曾祥接任這一職位。不久，容曾祥“丁憂”辭職，陳蘭彬推薦吳子登為監督。
吳子登一到美國就對留學生嚴加訓斥，甚至棒打留學生。留學生習慣了美國的自由平等，哪裏受得了他的淫威，吳子登越是打，留學生就越不服、更為憎恨他。吳子登索性給總理衙門頻繁寫信，建議將留學生全部撤回。一時間，朝內外的守舊勢力群起反對留學生事業，就連原本極力讚成派遣留學生的奕訢也開始動搖了。隻有李鴻章還堅持認為留學生既然已經花錢送了出去，就一定要完成學業，半途而廢最不可取。
1881年，一批留學生就要麵臨高中畢業，容閎按照李鴻章的要求向美國國務院提出申請，希望輸送一批優秀的中國留學生進入美國的西點軍校和海軍軍校學習。但美國國務院的回答是：“軍事學校一律不接受中國學生。”容閎寫信給李鴻章，認為這種作法有違《蒲安臣條約》，李鴻章表示無可奈何。
美國軍校拒收中國學生之後，吳子登藉此再次興風作浪，要求全部撤回留學生。總理衙門就此征求李鴻章的意見。李鴻章認為：第一，許多留學生已經進入大學深造，有望成材，中斷學業十分可惜；第二，國家為派留學生費掉了幾十萬兩銀子，一旦付諸東流，也有傷國體；第三，無端地撤回留學生，會使美國政府驚疑，影響兩國關係。但李鴻章畢竟不太了解留學生的實際情況，麵對如此之多的反對，他在奏折中提出，應當對留學生區別好壞，部分撤回。看得出，李鴻章雖然站在了容閎的一邊，卻沒有據理力爭。
最終，奕訢的一道奏折對留學生歸國起了決定性的作用。他說留學生“沒有精通人家的技能，先已染上了種種惡習，即使竭力整頓防範也難以周到，應當立即將留學生事務所撤銷，撤回留學生。”就這樣，李鴻章、容閎苦心經營的事業毀於一旦。留學生戀戀不舍放棄了在美國未完成的學業，回到了國內。