當晚，李泌對肅宗說：“臣已略報聖恩，請準許我作閑人。”
肅宗說：“我同先生憂患多年，應與先生同樂，您為何要離去呢？”
李泌說：“臣有五不可留，願陛下讓我離去，免於一死。”
肅宗說：“何謂五不可留？”
李泌說：“我遇陛下太早，陛下任我太重，寵任我太深，我的功勞太高，事跡太奇，有此五慮。陛下不讓我走，就是殺了我。”
肅宗說：“先生為何懷疑我，朕不是病狂，為何要殺先生呢？”
李泌說：“陛下不幹殺我的事，我才敢請求歸山，否則我怎麼敢說？並且我說被殺，不是指陛下，是那五點原因。我想陛下，對臣這麼信任，有些話尚且不敢說，等天下安定了，我哪敢再說什麼？”
肅宗說：“我知道了，先生要北伐，我不聽從您的建議，你生氣了。”
李泌說：“不是，我說的建寧王一事。”
肅宗說：“建寧王聽小人的話，謀害史長，想奪儲位，我不得不把他賜死，先生還不知道嗎？”
李泌說：“建寧王若有此心，廣平王必怨恨他，可廣平王每次與我談話，都說弟弟冤枉，淚如雨下，況且以前，陛下欲用建寧王為天下兵馬大元帥，我請改任廣平王，建寧王要是想奪太子位，必恨臣，為什麼他認為我是忠心，對我更加親善呢？”
肅宗聽到此，也忍不著淚，哭著說：“先生說得對，我知道錯了，但事情已經過去，我不想再聽這事了。”
李泌說：“我不是追究以前的責任，是為了讓陛下警戒將來。當年則天後有四個兒子，錯殺太子弘，立次子李賢為太子，次子賢內心憂懼，作《黃台瓜》詞，想使天後感動，但則天後不予理睬，李賢被廢後，死在貶所黔中。《黃台瓜》詞這樣說：‘種瓜黃台下，瓜熟子離離。一摘使瓜好，再摘使瓜稀，三摘尤可為，四摘抱蔓歸。’陛下已經摘了一個瓜了，千萬不敢再摘了。”
肅宗驚訝地說：“怎麼會有這號事，我當把這首詩寫在紳帶（大帶子）上，時時警惕意外的情況出現。”
李泌深沉地說：“陛下記在心上就行了，何必形於外呢？”
這次談話後，李泌即入衡山，歸隱泉林去了，由於他的話受到肅宗的重視，雖然張良娣、李輔國欲傷害太子，太子最終受到保護。
李泌像漢初的張良一樣有眼光，他們二人都是功成身退，並且在退出政治鬥爭之時，還保著了太子，因此其結局都是圓滿的太子登上皇位後，對他們都很尊重。
李泌的聰明之處在於，他看到肅宗日益親近小人，自己正處在政治鬥爭的漩渦中心。雖然與皇帝關係很好，但張良娣的枕頭風厲害，李輔國又是服侍皇上的人，他（她）們二人經常在皇上身邊，自己怎麼能鬥得過他們。
李泌是有遠見的，他的策略是鬥不過則躲，隻要太子即位，他就會重返政治舞台，如果太子保不住，他在朝廷內又有什麼用呢？因此及早抽身局外。
8、節操之誠，感天泣地
漢武帝太初四年（公元前101年）冬，匈奴單於病死，國人立其弟為單於。新立的單於因怕漢朝乘新立之機來攻，遂對眾臣說：“我是漢朝的兒子輩，怎敢敵漢？漢天子本是我的丈人，我們應當尊重他。”並下令將原扣押在匈奴的漢臣，一律派使臣護送歸國，且奉書講和。
天漢元年（公元前100年）正月，漢武帝因感匈奴單於誠意，也將被押匈奴使臣釋出，派中郎將蘇武持節送歸，並令武攜帶金帛，厚贈單於。
蘇武，字子卿，為故平陵侯蘇建之子，與他的兄弟同為朝中郎官。蘇武知道，這雖然是一次和平出使，但是，由於兩國的關係十分複雜，形勢也千變萬化，因此，此次奉命出使匈奴，仍然是前途未卜。於是，他特與家人告別，率副中郎將張勝，從吏常惠，及兵役百餘人，離都北行。
蘇武一行到了匈奴，見到了單於，轉達了武帝的問候，贈送了金帛。此時，單於的心情已經有所改變，並不真心與漢議和，隻不過借此緩兵，以尋機後圖。他見漢武帝中了他的圈套，不由地傲慢起來，對待漢朝的使者，禮貌很不周全。蘇武善於忍耐，他等公事辦完，便告辭退出，等候單於派遣他回去。誰知，就在這幾日，出現了一件意外的事，使蘇武等人被困匈奴近二十年。
在蘇武未出使匈奴之前，有一個名叫衛律的胡人之子，與漢朝的協律都尉李延年相好。李延年便將他推薦給漢武帝。武帝見衛律通曉胡事，便命其出使匈奴。不久，李延年因罪被囚。衛律在匈奴得知，因怕回到漢朝受株連，竟背漢降胡，被匈奴封為丁靈王。衛律有一個名叫虞常的從人，雖隨衛律降胡，但心中頗為不願。當時還有一深邪王姐之子緱王，以前跟從深邪王歸漢，此時與趙破奴等人一同被困在匈奴，心情也同虞常一樣，二人遂成知己，想謀殺衛律，劫持單於的母親閼氏，一同歸漢。湊巧張勝來到匈奴，虞常本與張勝相識，乘探望之機與張勝私下裏交談，說：“聽說漢天子十分怨恨衛律，我能夠為漢朝伏弩將其射殺，不知道您有什麼見教？”張勝聽說後，一心爭功，就瞞著蘇武，當即應允，並以貨物相助。不久，單於出獵。緱王、虞常認為有機可乘，便招集黨羽七十令人，準備發難。不料其中有一人貪生怕死，乘夜將此事報告了單於的左右。單於的子弟立即調兵圍捕，緱王戰死，虞常被擒。單於聞報，也星夜趕回，立命衛律嚴審此案。
張勝見事情已經敗露，怕受誅殺，這才將事情的始末告訴了蘇武。蘇武聽後，大驚，說道：“事已至此，必連累於我，若被匈奴捕審，豈非更有辱國家子不如早圖自盡！”談著拔出佩劍，便要自刎。張勝、常惠將寶劍奪住，蘇武才沒有能夠自殺。蘇武無奈，隻盼虞常不要供出張勝。那知虞常連遭酷刑，堅持不住，竟將張勝供出。衛律將供詞拿給單於看。單於見了以後，立即召集貴臣，商議要殺掉漢使。當時左伊秩訾勸道：“漢使若直接謀害單於，也不過死罪，今尚不至此，不如赦其一死，迫他投降！”單於聽後，便令衛律往召蘇武。蘇武聞召，對常惠道：“屈節辱命，即使得生，還有何麵目再回漢朝？”說著，拔出劍來，向頸上揮去。衛律見狀，急忙上前把住蘇武的雙手，但劍鋒已觸著脖頸，血流滿身，蘇武已經昏死過去。衛律忙令往招醫生。及醫生趕來，見劍鋒尚未傷到喉管，經半日搶救，蘇武才清醒過來。衛律見蘇武已無危險，便令常惠好生看護，自己回報單於。單於聽後，也很為蘇武氣節所感動，派人向蘇武問候，並下令將張勝收入獄中。
數月後，蘇武頸傷痊愈。單於便令衛律將蘇武請到庭中，並將虞常、張勝從獄中提出，當場宣布：虞常死罪，立即拉出斬首。又對張勝道：“漢使張勝，謀殺單於近臣，罪亦當死，但若肯歸降，尚可赦免！”說首，衛律上前，舉劍欲砍張勝。張勝見到這種情況，慌忙伏倒在地，連說願降。衛律冷笑了幾聲，轉身問蘇武道：“副使有罪，你也當連坐。”蘇武說：“本未同謀，又不是親屬，怎能連坐？”衛律又舉劍向蘇武比劃，蘇武仍神態自若，麵不改色。衛律見後，又將寶劍收起來，和顏悅色地勸蘇武道：“蘇君，衛律以前負漢歸匈奴，幸蒙大恩，受爵為王，擁眾數萬，馬畜滿山，富貴如此。您若肯投降，一定與衛律相同，又何必執拗成性，自尋死路呢？”蘇武聽後，搖頭不語。衛律接著說道：“您如果肯因我而降，我當與君為兄弟；您若不聽我的話，恐怕不能再見我麵了！”蘇武聽了此語，當即怒道：“衛律！你為人臣子，不顧恩義，叛主背親，甘降夷狄，有何麵目見我？且單於令你斷獄，你不能秉公而斷，反欲借此挑撥兩主，坐觀成敗。你要想想，南越殺漢使，屠為九郡；宛王殺漢使，頭懸北門；朝鮮殺漢使，即時誅滅。獨匈奴尚未至此。你明知我不肯降胡，還多方脅迫，我死不要緊，恐自此匈奴禍至，到了那時，你能夠幸免嗎？”一席話，罵得衛律張口結舌，又不好擅殺蘇武，隻得往報單於。
單於聽說以後，更加敬重蘇武，為了使蘇武投降，遂令將蘇武囚於大窖之中，不給飲食。當時，天下大雪，蘇武就食雪嚼旃，才得數日不死。單於對他活下來感到十分不理解，懷疑有神相助，就把蘇武遷徙到北海上（今貝加爾湖），令其牧羝。羝是公羊，是不能產子的，但單於說直到羝羊乳子，方可釋歸。又將常惠等分置他處，不能與蘇武相見。
蘇武身處荒野，沒有食物，隻得掘野鼠、覓草實充饑。盡管如此，蘇武仍未忘使命，持著漢節，在匈奴過了一年又一年，希望有一天能重返故土。漢昭帝始元二年（公元前85年），匈奴狐鹿姑單於病死，遺命立弟右穀蠡王為單於，而閼氏顓渠與衛律密謀，藏起遺命，竟立狐鹿姑幼子為單於，召集諸王，祭享天地鬼神。右穀蠡王及左賢王等，不服幼主，拒召不至。自此，匈奴國家內部分裂，國力漸衰。後來，匈奴顓渠閼氏恐內憂外患相繼而來，便派使臣前往漢廷和親。漢廷也遣使來胡，提出隻有匈奴釋歸蘇武、常惠等人，才可以言和。此時，蘇武已困匈奴19年，對外邊的事，知道的很少。
漢朝的使者向匈奴索還蘇武，胡人謊稱蘇武已死。多虧常惠得知消息，設法說通胡吏，才使得漢使秘密地見到了蘇武，說明了真情，且給漢使獻了一計。漢使聽後，連連稱善。第二天，漢使又往見單於，指名要索回蘇武。單於說：“蘇武確已病死。”漢使聞後，怒道：“單於休得相欺，大漢天子在上林中射得一雁，雁足上係有帛書，乃是蘇武親筆，言其正在北海牧羊。今單於既要言和，為何還要欺人？”單於聞言，頓時失色，對左右道：“蘇武忠節，難道還能感動鳥獸？”不得已隻得向漢使謝罪道：“蘇武果真尚在，我放他歸國就是了。”漢使乘機再索常惠、馬宏等人，單於都答應了。
不久，蘇武被從北海召回。其時，漢將李陵因戰敗已降匈奴。蘇武在匈奴能活到今日，多虧了李陵的暗中相助。李陵見蘇武即將南歸，遂置酒相賀，二人飲至酣時，李陵頗為感慨地說：“足下今得歸國，揚名匈奴，顯功漢室，雖古時竹帛所載，丹青所畫，亦比不過足下。惟恨陵不能相偕還朝！陵雖膽怯，但若漢朝能寬陵之罪，赦陵親屬，陵定尋機報國，雪此大辱！然而，漢竟誅陵全族，如此大恥，令陵還有何顏，再歸故鄉！君是我的好友，自此永訣了！”說著，淚下如雨，離座起舞，慷慨作歌道：“經萬裏兮度沙漠，為君將兮奮匈奴，路窮絕兮矢刃摧，士眾滅兮名已，老母已死，雖報恩，將安歸？”歌完，揮淚辭去。
漢昭帝始元六年（公元前81年），蘇武、常惠等9人，隨漢使返回長安。蘇武出使匈奴時，年方40，至此須眉皆白，手中所持的漢節，旄頭早巳落盡，國都的人見了，無不稱讚。及見了昭帝，交還使節，又奉命往拜了武帝廟。不久，昭帝下詔，拜蘇武為典屬國，賜錢二百萬，公田二頃，宅一所。蘇武之子蘇元，聞父歸來，忙迎到家中。其時老母已死，妻子已改嫁他人。
蘇武對漢之誠，感天動地，忍受了屈辱和磨難，卻保持了自己的節操。這種誠雖不是大智謀，大韜略，卻也不迂腐。蘇武的意誌倔強而悲壯，已形成了一種民族精神和民族感召力。如果他在那關鍵時刻表現的貪生怕死，對匈奴屈膝彎腰，也許他早就成為刀下之鬼。