從1920年秋到1921年上半年，在列寧和共產國際的影響和幫助下，掌握了馬克思主義，並認識到無產階級偉大力量的中國早期共產主義者，逐漸認識到這樣一個真理:要從根本上改造中國，必須建立一個俄國布爾什維克式的組織。於是，就在“南陳北李”分別在上海、北京建立共產黨早期組織的同時，在他們影響下的武漢、長沙、廣州、濟南乃至法國巴黎、日本東京等地，也風生水起，成果斐然。中國共產黨早期組織如暗夜中驟然升起的新星，給中國帶來了光明的前程。
上海灘的“群英會”
1920年5月間，共產國際代表魏金斯基一行到達上海，與陳獨秀會麵，建議組織中國共產黨，加入共產國際。這與當時陳獨秀的想法一拍即合。於是，陳獨秀積極展開了建黨的活動。
當時在上海宣傳社會主義思想的有三支力量:一是陳獨秀主持的《新青年》編輯部。二是戴季陶、沈玄廬、李漢俊等主持的《星期評論》社。《星期評論》是在孫中山領導的國民黨指導和支持下出版的。它以研究和介紹社會主義、特別介紹世界和中國的勞動運動獲得盛名，在當時進步知識分子中影響很大，和北京的《每周評論》同被譽為“輿論界中最亮的兩顆明星”。三是張東蓀等人組織的共學社，主編《時事新報》和《解放與改造》刊物。這兩個刊物也經常刊登一些標榜新思潮的文章，造成一種擁護社會主義或至少是“客觀”介紹社會主義思潮的假象，實際上他們主要主張的是資產階級改良主義和基爾特社會主義。
1920年6月，陳獨秀、俞秀鬆、李漢俊、施存統、陳公培五人在陳獨秀的寓所召開會議，組成革命局，開會籌備成立共產黨，“作為組織共產黨的準備”。初步定名為“社會黨”，經與李大釗商量後，“就叫共產黨”。會議選舉陳獨秀為書記，討論了黨綱、黨章，確定了以勞工專政、生產合作、嚴密的黨組織等手段達到社會革命的目的。這次會議起草的黨綱草案，施存統抄了一份帶到日本，陳公培抄了一份帶到了法國。
7月19日，魏金斯基在上海召開了“最積極的中國同誌”會議。陳獨秀、李漢俊、沈玄廬出席會議並讚成建立中國共產黨。這次會議為未來的中國共產黨成立奠定了基礎。
8月，上海共產黨小組在陳獨秀的寓所正式成立，取名“共產黨”，其成員共有8人，主要是馬克思主義研究會的骨幹:陳獨秀、俞秀鬆、施存統、陳望道、李達、李漢俊、沈玄廬、楊明齋。首次決議推陳獨秀擔任書記，函約各地社會主義分子組織支部。上海共產黨小組是中國最先成立的共產主義小組，在那些暗無天日、風雨如磐的歲月裏，指引了各地的革命運動與組織活動，對各地共產主義小組的建立起了重要的促進和推動作用。主要表現在以下四個方麵。
一是研究和宣傳馬克思主義。上海共產黨小組成立後，首先加強了對馬克思主義的學習、研究和宣傳，改組了《新青年》，創辦了《共產黨》月刊，並出版了一些馬克思主義著作。1920年9月1日出版的《新青年》8卷1號，是一個全新的開始。雜誌啟用了合理全新的封麵，封麵上兩隻大手在地球上緊緊相握，寓示著中國人民和十月革命後的蘇俄人民的緊密團結。從這一期開始，雜誌專門開辟了“俄羅斯研究”專欄，登載介紹蘇俄革命和宣傳馬克思主義的文章以及列寧著作、列寧傳略等，宣傳馬克思主義，與非馬克思主義劃清了界線。《新青年》雜誌實際上已經成為了上海共產黨小組的機關刊物。
為適應建黨需要，向早期共產主義者進行係統的馬克思主義宣傳與理論教育，陳獨秀和李達於“十月革命”三周年(1920年11月7日)創辦了半公開的《共產黨》月刊，李達任主編。它第一次樹起了“共產黨”的大旗，闡明了建黨的主張和使命。該刊先後刊載了列寧的傳記、照片、演說及《國家與革命》的部分譯文，報道了共產國際及各國共產黨的一些情況，對幫助共產主義小組成員了解共產黨的基本知識、推動黨的籌建工作做出了重要貢獻。《共產黨》月刊不僅成為各地共產黨早期組織成員的重要學習材料，而且遠在海外的如在法國勤工儉學的共產主義知識分子都將它作為不可或缺的讀物。