這時，朝中有一位專權的宰相元載，這位宰相大人，與李苾是截然相反的人物。他憑借代宗的寵任，誌氣驕逸，洋洋自得，自認為有文才武略古今莫及。他專擅朝政，弄權舞智，僭侈無度。曾有一位家鄉遠親到元載這兒求取官職，元載見其人年老不堪，猥猥瑣瑣，便未許他官職，寫了一封給河北道的信給他。老者走到河北境內後，將信拆開一看，上麵一句話也沒有，隻是簽了元載之名，老者十分不悅，但既已至此，隻好持此信去拜謁節度使。僚屬們一聽有元載書信，大吃一驚，立即報告節度使。節度使派人將信恭恭敬敬地存到箱中，在上等館舍招待老者，飲宴數日。臨行時，又贈絹千匹。這可見元載的威權之重。
就是這位元載，見李泌如此被信用，十分忌妒，與其同黨不斷攻擊李苾。在李苾重回朝中的第三年，也就是大曆五年（公元770年），江西觀察使魏少遊到朝中尋求僚佑，代宗對李苾道：“元載不容卿，朕今匿卿於魏少遊所，俟朕決意除載，當有信報卿，可束裝來。”於是，代宗任命李泌為江西觀察使的判官，這與李苾在朝中的地位可謂天上地下，太不相稱，但李苾還是愉快地遠赴江西。
客觀地說，元載是不容李泌的，但元載雖為權臣，畢竟隻是文人宰相，未握兵權，代宗若要除他，易如反掌，但值得玩味的是，在元載與李泌的天平上，代宗明顯地偏向了前者，所以，要提出種種借口與許諾。
李苾到江西後七年，也就是大曆十二年，代宗方罷元載相，以圖謀不軌誅元載及其全家。元載倚寵專權，下場可悲。一年以後，大曆十三年年末，代宗方召李泌入朝。李苾到朝中後，君臣之間有一段很有意思的對話。代宗對李苾道：“與卿別八年，乃能誅此賊。賴太子發其陰謀，不然，幾不見卿。”對這一解釋，李苾鍛乎不能接受，他對答道：“臣昔日固嚐言之，陛下知群臣有不善，則去之。含容太過，故至於此。”對此，代宗隻好解釋道：“事亦應十全，不可輕發。”
李苾到長安剛剛安頓下來，朝中新任宰相常袞即上言道：“陛下久欲用李苾，昔漢宣帝欲用人為公卿，必先試理人，請且以為刺史，使周知人間利病，俟報政而用之。”這一建議，可以說是十分荒唐。李苾自肅宗時即參與朝政機要，多次謝絕任相的旨意，而肅宗也實際上將他視為宰相。代宗即位，召其至朝中，也是要拜為宰相，但李苾又拒絕就任。如今常以代宗欲用李苾為由，要將他放為州刺史，應當是秉承了代宗的旨意。所以，第二年初，代宗便任命李苾為澧州刺史，澧州是偏遠州郡，對於這一明顯帶有貶謫含義的任命，李苾未發一言，還是再次離開長安，走馬上任。
以後，李苾又改任杭州刺史。就這樣，這位多次拒任宰相的政治家，在疏遠與排斥中，常年在外流連，遠離朝政。但李苾從未心灰意冷，無論是在江西，還是在澧州、杭州，他都勤予政務，“皆有風績”。
至德宗在奉天（今沈陽）被圍，又將李泌召至，不久，任命宰相，但李苾還是平心待物，淡泊自然，真正體現了寵辱不驚的宰相氣度。
[智慧方圓]名利是一劑強心針，名利更是一株毒人草，汲汲於名利、戚戚於得失者，無不落入名與利的泥潭無法自拔，最終陷入其中。凡此人等，內既無方，外亦不圓。從這一意義上說，淡泊名利不僅僅是一種價值取向，也是讓領導者逢凶化吉的大智慧。