1963年，當非國大和“民族之矛”的許多領導人都被逮捕時，曼德拉又和他們一起受審，罪名是企圖以暴力推翻政府。曼德拉在法庭上陳述了4個小時，他痛斥南非統治者“你們才是真正的罪犯”。他要向全世界講出真相，並準備為自己的理想獻出生命。他在法庭上聲明要“建立一個民主和自由的南非”，慷慨激昂的措辭贏得了相當的國際注意和尊重。1964年6月12日，包括曼德拉在內的被指控者中的8人被判終身監禁。從1964年到1982年，他被囚於開普敦附近的羅賓島監獄，後來又被監禁於大陸附近的波爾斯穆監獄。
曼德拉是全世界最受尊敬的囚徒，最守信念的囚徒，也是最強大的囚徒。在被監禁的歲月裏，曼德拉的聲譽一直在增長，他被廣泛地視為南非最重要的黑人領袖，成為反種族隔離鬥爭汲取力量的有力象征，他一直拒絕以政治立場上的妥協來換取自由。他的存在影響著他的人民。曼德拉的言行震懾了監獄看守，使他們意識到不能碰這個人。
80年代，南非人民反對種族歧視的呼聲越來越高。南非人民需要曼德拉，把他當作“鼓舞的化身”，從而為爭取權益堅持鬥爭，鎮壓了再反抗，使得南非當局深感不安。種族隔離受到世人的唾棄。南非政府也需要曼德拉，從1985年起與曼德拉進行了5年的秘密對話。
1989年2月，原國家教育部長德克勒克被選為國民黨領袖，他在任職後第一次講話中號召建立一個非種族主義的南非，呼籲就這個國家的前途舉行談判。同年9月，他當選總統，德克勒克立刻解除了對非國大的禁令，二個月內廢除了種族歧視製度，並在1990年2月11日釋放了約爾遜·曼德拉。
獲釋之後的曼德拉全身心地投入他終生的事業，為實現民主、自由、平等的新南非而努力。1991年，在非國大自從1960年被禁之後首次於南非境內舉行的全國大會上，曼德拉當選為非國大主席，奧利弗·坦博，他一生的朋友與同事成為這個組織的全國協調人。1993年10月，納爾遜·曼德拉和威廉·德克勒克“因其結束種族隔離製度和平努力，因其為民主的新南非奠定了基礎”而榮獲本年度諾貝爾和平獎。
1994年5月10日，曼德拉就任南非總統。當時南非有700萬的失業人口，暴力事件不斷，國家處於分裂狀態。曼德拉向人民承諾重塑南非，他是個言出必行的人，在他的領導下成功地改變了人民的生活，使南非得以安定。
納爾遜·曼德拉致力於和解的努力甚至贏得了白人的尊重，他的政治技巧也幫助他縫合新南非內部的各種分歧。在國際上，他得到更多的讚揚，成為非洲最有影響力的政府首腦，或許也是世界上最受尊敬的政治領導人。
曼德拉同千百萬人握過手，他總是出現在最需要幫助的地方。他晚年的生活並不如意，與他相濡以沫三十多年的妻子溫妮·曼德拉離開了他。但是，南非人民熱愛他、支持他，曼德拉在事業上獲得了巨大的成功。曆經滄桑的曼德拉給這個國家帶來了和平。這是20世紀的奇跡。