賴政自己放火燒毀了自己在京都的宅邸，表明自己與平氏一決生死之意，清盛得知是賴政舉兵後，大怒，自己如此對待身為異族的賴政，保他成為源氏第一位公卿，待他如此之好，他竟然還是背叛了，清盛當機立斷，迅速反應的平清盛立即派四男平知盛領軍征討之。
賴政和以仁王還是缺乏足夠的準備，起兵事發太突然，發動全國源氏的號令雖然發出了，但趕來勤王之人極少，賴政的軍隊很快就被擊潰。賴政和仲綱父子自殺。
以仁王逃亡奈良園城寺。在途中被殺。
平清盛更進一步地將目標指向幫助以仁王對抗平氏的園城寺，他派五男平重衡率領大軍準備鏟除園城寺。同時平清盛也將各寺院組成的宗教勢力，尤其是與園城寺同屬天台宗的比叡山延曆寺視為潛在的危險，平家與宗教勢力大打出手的同時，擁護法皇的親貴也在蠢蠢欲動，清盛麵臨兩麵受敵，為了維持平氏政權的長治久安。
平清盛於是在治承四年（1180年）六月強行將國都遷往平氏的據點，鄰近當時國際貿易港大輪田泊的福原。遷都之事遭到了朝廷的極力反對，但是清盛不顧任何人的反對一意孤行，最終遷都是成功實現了，但是，遷都到福原僅百日，就因地震和天災，還有公卿的反對之聲從未停止之因，迫使清盛不得不再次還都。
以仁王的起兵雖是曇花一現，然而以仁王討伐平氏的令旨仍然在全國各地廣為傳播。
這份領旨亦曾到了距京都遙遠的關東伊豆，一位年輕的武士得到了這份領旨，露出了笑容，這位武士就是在平治之亂後，被清盛放逐到伊豆的曾經源氏的棟梁源義朝的三子源賴朝。
賴朝被流放在伊豆已二十年整了，雖是流放之人，但是，他身為源氏棟梁之子時刻也不忘複興源氏的大業，即使在平家的勢力達到極盛的時代，他也沒有放棄再度興複源氏的願望。
他一直在等待，等待著平家出現破綻，等待著有人站出來反抗平氏，終於他等到了以仁王的令旨，隻要有著令旨在手，他即可號召散落在各地的源氏武士還有所有對平家不滿的勢力一起聯合起來打倒平氏。
賴朝所在的關東遠離京都與福原，平氏的勢力還未深入此地，在關東的各國之中還存在著自高祖源義家時就效忠於源氏的武士集團，結合這兩點賴朝已占據地利與人和。
治承四年八月，被清盛流放到伊豆國的源賴朝與其正室北條政子的娘家關東豪族勢力北條氏聯手舉兵。
九月，信濃國的源義仲也舉兵反平氏。源義仲就是當年被源義朝的兒子所殺的弟弟源義賢的兒子，父親義賢死後他就隱藏在信濃國。
一方是在信濃的義仲，一方是伊豆的賴朝，兩個年輕的源氏武士日後成為了覆滅平氏的人物，清盛決定先出兵剿滅賴朝。
因為當年若不是自己的母親池禪尼以死相逼，清盛不會放過賴朝，他網開一麵放賴朝一條生路，萬萬沒想到賴朝會起兵反他，想起來當初自己真是自埋禍根，放虎歸山，想起這些清盛便是一陣的懊惱與氣憤。
一方，賴朝的勢力很快壯大，眼看關東就要有獨立之勢，為了防止源賴朝的勢力坐大，平清盛派遣由嫡孫平維盛率領的大軍進入關東。
然而，在與源賴朝交手的富士川之戰一役中，初次出陣的維盛缺乏膽氣，據說平氏大軍被水鳥的振翅聲所驚嚇而敗走，顯現出平家軍已經積弱不振，於是反抗平氏的聲浪也越來越大。
富士川敗戰使平氏的武名顏麵盡失，也讓宗教勢力，尤其是之前協助以仁王舉兵的興福寺開始蠢蠢欲動。加之清盛還都之時由平重衡率領的大軍開往南都奈良並縱火焚城，隨之又命平知盛率兵至近江國和美濃國鎮壓源氏一族的反抗勢力。平氏的一連串行動確實壓製了國都周邊的反平家勢力，然而火燒南都奈良也使平清盛蒙上佛教之敵之名。樹敵也越來越多。
平氏將麵臨四麵楚歌的絕境，清盛的人生也將迎來最後的時刻。