山口組的沿革，初代山口組組長、山口春吉於大正4年（1915年）在神戶市內，與另外約50名的碼頭裝卸工創立山口組，當時為“大島組”的一支。數年後，大正14年（1925年），山口春吉隱退，由他的長子山口登繼承，成為第二代山口組組長；山口登被“大島組”逐出後，便涉足獨占神戶中央運輸市場的搬運權，使勢力範圍擴大。昭和15年（1940年），山口登在一次為了爭奪營業權，在東京淺草被“篭寅組”（現合田一家）的人斬成重傷、在昭和17年（1942年）逝世。二次大戰後，昭和21年（1946年），田岡一雄被選為山口組的第三代組長。
田岡一雄在位期間的昭和30～40年代（50～60年代），與許多地緣黑幫之間發生數起對立火拚事件，而使山口組擴大全國各地地盤，成為全國性的廣域黑社會組織。田岡一雄擁有超群的統禦力及組織力，以雄厚的資金涉足演藝娛樂、營造、航空及各行業公司的經營權，加上文、武分明的強力戰鬥部隊，成為稱霸全國的原動力。
田岡一雄死後，第四代組長的遴選使山口組內部分裂；在昭和59年6月（1984年）選出第四代組長，繼承者為竹中正久。造成內部反對勢力“山廣派”不服，集體退出山口組，另組“一和會”與山口組長期對抗達8年之久的“山一戰爭”；抗爭期間，昭和60年1月（1985年）第四代組長“竹中正久”及若頭“中山勝正”遭到暗殺；最後，“一和會”也被山口組徹底瓦解。
到了平成元年（1989年）由原第四代山口組若頭渡邊芳則繼承組長一職，成為山口組第五代組長。第五代組長渡邊芳則就任後，因積極擴張勢力範圍，尤其他本人相信武力可以解決一切，造成與多個組織發生對抗事件，像“東日本二十日會”、“五者會”組成的對抗事件即是。平成8年（1996年）7月發生若頭補佐“中野太郎”遭“會津小鐵會係”的襲擊，而當時的宅見勝卻介入並引敵為友，造成“中野太郎”的不滿與憤慨。平成9年（1997年8月），第五代山口組若頭宅見勝即被“中野會”（2005年8月7日提出解散）派人暗殺身亡，是山口組內部派係糾紛造成。
（2005年）5月弘田組組長司忍（本名“筱田建市”）繼任第五代山口組若頭；同年7月29日山口組舉行“直係組長例行會議”（簡名“定例會”），會後正午宣布領幫16年的第五代山口組組長渡邊芳澤退休，並內定司忍繼任第六代組長；同年8月27日山口組在神戶總本部舉行第六代組長的跡目相続繼承儀式。此次山口組除改朝換代之外，在吸收東京活動的國粹會入其傘下，被視為山口組將勢力逐步深入關東的核心地
目前山口組成員有3萬9200名成員，占日本所有幫派份子的45%，另外在亞洲數國與美國也都有分支。
日本黑社會由來已久，日本著名政治學家丸山真男撰寫的《超國家主義的理論和心理》指出，暴力團出現的原因是：二戰結束後，右翼和民族主義被迫采取“曲線救國”的*和親美路線，成為“體製右翼”。他們充當追隨美國的日本政府的爪牙和打手，並與政界和財界相勾結以獲得大筆資金。
文章還指出，近年來，隨著經濟衰退後民族自尊心受挫和美國的利用，以“國家自立”為目的的民族主義再度興起。在當今日本政治、軍事和外交活動中，這些人充當激進思想運動的成員，其中不乏打著“忠君愛國”招牌、經常自稱為“皇民”的暴力團的身影。