傅恒、劉綸、劉統勳等老一輩的軍機大臣相繼去世後，於敏中在軍機處日久，成了首席軍機大臣之後，很多人依附於他。此時軍機大臣之中又沒有老成練達，熟悉政務之人。本來乾隆還指望女婿福隆安能製衡下於敏中，但福隆安年紀輕輕，未經曆練，哪裏是於敏中的對手。
乾隆三十七年，福隆安被派到金川前線處理總兵宋元俊告發桂林一案。宋元俊稱統帥桂林，在軍中終日飲酒，大肆揮霍。到了前線後，福隆安發現宋元俊是誣告，遂據實彙報。在金川前線，福隆安也承擔了實地考察軍情的任務，他發現金川前線軍糧運輸困難，將領阿爾泰年邁。根據福隆安的奏報，乾隆相應地做了調整。金川戰事勝利後，表功時也將他算了一份，在平定金川前五十功臣中排名第六，繪像入紫光閣。福隆安一度向乾隆請戰，想留在金川前線效力，鍛煉一二。但此時軍機大臣人手短缺，乾隆還是將他召回了京師。
凡滿族親貴，自受到皇帝青睞之後，自己可能謹慎收斂，但奴才卻跟著骨頭輕了，老愛給主子招惹點是非，此類事件在清代層出不窮，可以視為“奴才定律”。做大臣的，在皇帝麵前是奴才；在自己的家仆麵前，卻是主子。弱者總是會欺淩更弱的群體，以填補此種心理空缺，於是家仆們一出了主子的門，便人五人六，胡作非為了。
乾隆三十九年，福隆安被禦使李漱芳彈劾，稱福隆安的家奴藍大，喝醉了酒在金陵酒樓打架鬧事。巡城官員趕到後，礙於福隆安的麵子，沒有處理藍大。藍大自恃主子背景深厚，繼續在外率眾遊蕩，逞凶打架，擾害平民。乾隆看了奏折後，下令將藍大交刑部從重治罪。福隆安對家奴約束不嚴，難辭其咎，被命令檢討反省。
此次福隆安雖被彈劾，他到底是乾隆的女婿，傅恒的兒子，乾隆的身邊還是有他的一席之地。福隆安繼續扈從著皇帝，但他已開始麵臨新崛起的和珅的強大挑戰。
就在此年五月，乾隆下諭稱，福隆安所管事務太多，令將所有步軍統領事宜交給和珅辦理。步軍統領又稱九門提督，負責京師內的防務與治安，相當於今日的北京衛戍司令兼北京市公安局長，負責京內九座城門守衛和門禁，處理巡夜、救火、編查保甲、禁令、緝捕、斷獄等，責任重大，地位顯赫。步軍統領的職位，硬生生地讓出來給了和珅，這意味著福隆安地位開始下降。
皇帝的恩寵少了，福隆安的身體也開始衰弱，做事也不利落、不專心了，這又降低了他在皇帝心目中的地位。乾隆四十七年四月，乾隆舉行祭天大典，由福隆安負責巡視。乾隆到了天壇之後，發現所懸掛的天燈隻有兩盞，所擺設的坐褥也不整齊。乾隆很不開心，本要將福隆安撤職，看在他患病的份上才饒了他。
福隆安的身體狀況也越發糟糕，乾隆四十八年，乾隆出巡，福隆安生病不能陪同，留在京師修養。不想此年，他的家仆又給他招惹出是非。
此年福隆安的仆人富禮善，在外麵打人致死，事後指使趙文達頂包。權勢之家，遇到人命官司時，常重金收買窮人或亡命之徒頂替，這在清代屢見不鮮，以致成為一種產業，有個專門名詞“宰白鴨”稱呼此類頂包者。在刑部審問時，趙文達將所有的罪責都包攬了下來，案件相關的證人不敢指證，刑部官員也沒有認真訊問。本來此事就要過關，不料首席軍機大臣阿桂得悉真相後，向乾隆檢舉了此事。
乾隆讓阿桂、和珅、福康安、劉墉四人會同刑部再審。趙文達先是堅持說是自己殺的人，被嚴刑刑問之後，轉而承認是富禮善致人死亡。此案福隆安雖不知情，也被罰公俸十年，並交部嚴加議處。