1952年，非國大聯合其他反種族主義組織，在全國範圍內開展了一場聲勢浩大的“蔑視不公正法運動”，曼德拉被任命為該運動的“全國誌願隊總指揮”。
1952年底，曼德拉和其他非國大領導人因組織“蔑視不公正法運動”而被當局逮捕，被判處9個月的監禁。
也就在那一年，曼德拉完成了金山大學的法律課程，取得了開業律師的資格。
他和當年在黑爾堡大學的校友奧利弗·坦博一起，在約翰內斯堡開辦了南非第一家黑人律師事務所，開始運用法律知識維護黑人的權益，在法庭上為黑人伸張正義。
1948年，麵對當局的白色恐怖，曼德拉提出了一個對非國大及其反抗運動的發展具有重要意義的高瞻遠矚的計劃，即以他自己名字開頭字母命名的“M-計劃”。該計劃的核心是從基層開始逐級建立嚴密的金字塔型的組織體係，克服以往的鬆散狀態，把非國大建設成為一個組織嚴密的政治團體。這個計劃為非國大後來從公開活動轉入地下鬥爭做了組織上的準備。
1961年6月，非國大軍事組織“民族之矛”宣告成立。曼德拉被任命為“民族之矛”的第一任總司令，其最高指揮部便設在約翰內斯堡一個白人高級住宅區利沃尼亞附近的百合花農場裏。
“民族之矛”發表宣言宣布，它將用“新的方法為自由和民主而鬥爭”。1961年12月16日，成立剛半年的“民族之矛”正式發動了武裝鬥爭，用自製的炸彈炸毀了約翰內斯堡、伊麗莎白港和德班等地的政府辦大樓和發電廠設施。
1962年8月5日，就在曼德拉悄然回國的第16天，由於有人告密，曼德拉在從納塔爾返回約翰內斯堡的路上再次被捕。
1964年6月12日，南非白人當局置國內外強烈的抗議和反對而不顧，宣布曼德拉等7名“利沃尼亞審判案”被告罪名成立，並將他們判處終身監禁。
1990年2月11日，被關押長達27年之久的曼德拉微笑著走出開普郭附近維克托·韋斯特監獄的大門，在此後的4年多時間裏，曼德拉以及他所領導的非國大，聯合所有黑人反抗運動組織，同德克勒克的國民黨政府進行了艱苦卓絕的旨在結束種族隔離製度、推進南非民主進程的製憲談判。
曼德拉和德克勒克也因他們在推動南非民主進程，廢除種族隔離政策所做出的傑出貢獻而榮獲1993年度諾貝爾和平獎。
1994年4月，南非舉行了有史以來的第一次所有種族參加的全民大選。曼德拉領導的非國大在這次大選中獲勝。
5月10日，曼德拉就任南非首位黑人總統，自由、民主和種族平等的新南非從此宣告誕生。
新南非的誕生標誌著非洲大陸爭取民族解放運動勝利結束，從此非洲進入了一個新的曆史時期。