匈奴見勸說沒有用，就決定用酷行。當時正值嚴冬，天上下著鵝毛大雪。單於命人把蘇武關入一個露天的大地窖，斷絕食品和水，希望這樣可以改變蘇武的信念。在寒氣逼人的地洞中，身心交瘁的蘇武躺在刺骨的寒冰上，疲憊地昏了過去。不久，難以忍受的饑餓使他蘇醒了過來，他爬到雪堆旁，將一把雪塞進了嘴裏，又抓起漢節上的一撮氈毛，艱難地咽了下去。奇跡出現了，幾天之後，蘇武居然沒有死。單於被嚇壞了，以為他一定是個神人，否則這要換成別人，不早就死了好幾回了嗎？
單於知道無論用軟辦法還是硬辦法，蘇武都不會投降。但越是這樣，他越敬重蘇武的氣節，不忍心殺蘇武，但他也不想讓蘇武返回自己的國家，於是決定把蘇武流放到渺無人煙的北海（今俄羅斯西伯利亞的貝加爾湖一帶），讓他去牧羊。臨行前，單於召見蘇武說：“既然你不投降，那我就讓你去放羊，什麼時候公羊生了羊羔，我就讓你回到中原去。”
蘇武拄著漢節，在風雪交加的北海牧羊，他常常撫摸著它，就像是見到皇帝一樣。漢節從來沒有離開過他的手，節上的毛早就已經脫落了，完成出使匈奴任務的使命感和忠於漢朝的氣節，始終在支持著他一定要活著回去。
蘇武就憑著這股堅忍不拔的毅力，吃著野鼠、啃著野草，艱難地活下去，希望還有那麼一天，能重見曙光，返回大漢的國土。
六年過去了，有一次，單於的弟弟於靬王到北海去打獵，驚奇地發現蘇武居然還活著。在這種嚴酷惡劣的環境中，人怎麼可能活得下去呢？於靬王被他深深地感動了，他默默地送來了一些食物和牲畜，希望能改善他的生活。
但是好景不長，三年之後於靬王過世，而蘇武賴以生存的那些財物也全部被偷走了，他又回複到從前那種艱苦不堪的日子。
艱辛的日子又過了五年，單於派李陵來勸蘇武投降。李陵是漢朝李廣將軍的孫子，也是一位驍勇善戰的將軍，他在投降匈奴之後，一直都不敢去拜見蘇武，蘇武高尚的人格，始終令他感到自責和羞恥。而這次受命於單於，他隻好硬著頭皮去。
李陵懇切地勸他說：在這種沒有人煙的不毛之地，哪裏有信義可言？有誰見得到你的信和義，忠與貞呢？回到漢朝的希望太遙遠、太渺茫了，人生那麼短暫，就像朝露一樣，你究竟是何苦呢？
蘇武長歎了一口氣說道：做臣子的忠於他的君王，就如同做兒子的孝順他的父母一樣，是天經地義的事情。兒子為了報答父母，就算是死了都在所不惜，更不要說這樣一點折磨了。我和父親受封於朝廷，國家曾經給予我們非常優厚的恩寵，朝廷的深恩大德是我報答不盡的。今天就算是為國家犧牲，赴湯蹈火、我都心甘情願，請你不要再勸我了。
麵對威武不屈的蘇武，李陵深感愧疚，不禁仰天長歎：“嗟呼，義士！陵與衛律之罪上通於天！”“因泣下沾衿，與武決去”。回去之後，他送來了幾十頭牛羊，希望能改善蘇武的生活。
不久之後，漢武帝駕崩了。李陵把這個消息告訴了蘇武，他非常痛苦，麵向南方，撲倒跪地，放聲痛哭，鮮血順著嘴角流在了地上。從那以後，他終日悲慟地哭泣，誰都勸他不了。
漢昭帝始元二年（前85年），匈奴單於死了，新單於派使者來到長安，表示要與漢朝和好，漢朝廷提出要單於放蘇武等漢朝使者返回，匈奴人欺騙說蘇武已經死了，後來，漢朝有使者去匈奴，當初和蘇武一起到匈奴的常惠獲得消息，就買通了看守，乘夜晚去見漢使，把全部情況報告了漢使。漢使去見單於說，漢皇帝在上林苑射獵，射下一隻大雁，雁足上係著蘇武的信，說他還在北海。並威脅說，大雁捎書，是“天意”，單於不能違背天意。單於無奈，隻好命令把蘇武從北海放回，連同常惠等人一同交漢使帶回國。
漢昭帝始元六年（前81年），蘇武懷著無盡的傷感，踏上返鄉的道路。蘇武在京城受到熱烈歡迎，從政府官員到平民百姓，都向這位富有民族氣節的英雄表達敬意。他回到京師，奉上節杖，淚流滿麵地拜謁了漢武帝的陵墓。昭帝封蘇武為典屬國之職，並賞賜他錢200萬，公田二頃，宅一座。宣帝即位後封蘇武為關內侯。蘇武把財產全部分送給親朋、故舊，自己什麼都沒有留下。他的妻子已經改嫁，兒子因被連坐而死，而他自己也已經白發蒼蒼了。神爵二年（前60年），蘇武病故，享年80有餘。蘇武死後，宣帝命人繪蘇武像於未央宮之麒麟閣，以表彰其高尚的節操和精神。