就在加爾文出版《基督教原理》那一年，他來到了瑞士宗教改革中心之一的日內瓦。
當時，日內瓦已經按照茨溫利的主張實行了宗教改革：廢除了望彌撒、拜聖像、售贖罪券，還改進了禮拜儀式和教會組織。但是，天主教和新教的鬥爭仍很激烈，他們時常進行宗教辯論。在辯論會上，比加爾文宗教主張更激進的再洗禮派占有優勢。他們組織城市平民起事，破壞天主教的教堂和修道院。市政當局怕鬧出大事，便禁止開宗教辯論會；後來又開始迫害再洗禮派，殘酷鎮壓平民運動。這就殃及到加爾文的教派，加爾文不得不逃離日內瓦。但是，後來宗教改革派還是占了上風。1541年，加爾文應日內瓦市政當局的邀請，重新返回日內瓦，領導那裏的宗教改革。
加爾文做的第一件事，是對教會組織進行重大改革，說教會是“上帝遴選出來的人”的組織，它就不隸屬於羅馬教皇，也不隸屬於地方諸侯。教職都是選舉產生的。由教徒中選出長老和牧師管理教會，長老一般都是最有錢的市民。信加爾文教的各個組織單位，實行宗教和政治合一，共同結成聯盟，由定期召開的高級宗教會議領導。
這樣一來，日內瓦事實上成為一個宗教和政治合一的神權共和國了。城市裏的每一個公民，都同時受到國家法律和宗教紀律的約束。教會人員什麼都管：禁止跳舞、遊戲、歌唱，甚至不許穿漂亮的衣服。凡是違反規定以及懶惰、貪吃的，都要交付法院審判，加以處罰。
從此，加爾文成為日內瓦至高無上的主宰，城市裏的教會和行政當局完全拜倒在他的權威之下。難怪日內瓦變成了新教的羅馬，而加爾文被稱為“日內瓦的教皇”。
加爾文雖然是新教中一個派別的創始人，可是他把新教中的其他派別都當作“異端”，同天主教一樣不加寬容。他尤其仇視激進的再洗禮派，信奉它的教徒，不是被趕出日內瓦，就是被判處死刑。
1553年，西班牙的著名科學家米凱爾·塞爾維特偶然來到日內瓦。這位科學家發現了心髒與肺部之間的血液小循環，在當時非常有聲望。加爾文因為塞爾維特曾經在書中批評過他的教義，並且與再洗禮派有聯係，因而把這位科學家加以逮捕，並處以死刑。這次暴行招致知識界的普遍不滿，加爾文不得不發表一篇特別的論文為自己辯解。
加爾文教會的組織形式比較有利於資產階級的統治。所以，在資本主義經濟比較發達、新興資產階級已經開始奪取政權的國家裏，加爾文教得到特別廣泛的傳播。16世紀的尼德蘭資產階級革命，就是在加爾文教的旗幟下完成的。
日內瓦宗教改革以後，英國也進行了宗教改革，他們的宗教組織稱為“聖公會”。聖公會是政教合一的組織，英國的國王就是宗教的領袖。
從此，基督教就有了三大派別：直接隸屬於羅馬教皇的，叫“天主教”；原東羅馬帝國係統的，叫“東正教”；馬丁·路德、加爾文、聖公會以及其他宗教改革的派別，統稱“新教”，“新教”在中國稱為“耶穌教”，亦可泛稱為基督教。