加爾文在此時已經由人文主義者轉為宗教的改革主義者，這位年輕的神學者在理論上形成了自己的觀點後，又在等待時機付諸實踐了。
日內瓦的光輝
為了躲避戰禍，1536年，加爾文帶著業已成熟的思想來到了日內瓦，在這裏他的抱負和雄心得到了充分施展。加爾文剛來日內瓦的時候，工作極為普通，擔任《聖經》的講師，通過一年的努力工作後被任命為布道師。在市議會的支持下，他和法勒一起推動日內瓦的宗教改革。革除舊教，宣傳新教理論成為他們的最終目標，但由於他們製定的新教規定較為嚴苛，市民們動輒得咎，對這種懲戒製度紛紛表示不滿。
市議會迫於社會各方麵的壓力，於1538年不得不解除加爾文和法勒的職務，並限令他們三日內必須離開日內瓦境內。加爾文和法勒離境後，日內瓦的天主教勢力企圖複辟他們的統治，但接替加爾文工作的人現在卻無法控製局勢，社會陷於一片混亂之中。加爾文得知日內瓦的情況之後甚是擔心，他致函日內瓦市議會，聲稱除了進行宗教改革，日內瓦別無選擇。為了拯救日內瓦，市議會對新教進行了幹預，試圖讓宗教改革在日內瓦東山再起。1541年，日內瓦支持宗教改革的一派執掌大權，5月，他們解除了對加爾文的驅逐令，恢複他的名譽，屢次派人迎接他回來，但很難說服他。9月，加爾文經過再三思考，終於決定重返日內瓦這片曾經讓他傷心的土地，這一次，他受到隆重的歡迎並贏得了廣泛的支持。
加爾文回到日內瓦後，首先著手建立新教會，製定嚴格的宗教法規，擬定《宗教法典》，規定：教會中共設四種職務，即牧師、教師、長老、執事。長老會為管理教會的權力機構，由牧師與長老組成，加爾文任長老會主席。牧師為終身製，每周召集一次會議；教師應擔任日內瓦學校係統的首腦；長老在加爾文的製度中占據著中心地位，一年進行一次選舉。
加爾文試圖在日內瓦建立一個道德高尚、秩序良好的規範社會，與驕奢淫逸的天主教會形成鮮明對比。信徒隻能信仰新教，不得信仰其他宗教。《聖經》被定為大法，政府必須依照《聖經》辦事，《聖經》的解釋權在牧師。加爾文這種嚴格的福音主義吸引了很多來自各國的難民，加爾文實際上成為了日內瓦政治、宗教的最高領導人，集政治大權與宗教大權於一身。日內瓦工商資產階級的政治統治，完全在以加爾文為首的牧師團的嚴密監督和控製之下，形成政教合一的神權統治。
此外，加爾文還非常重視教育的普及，興辦學校，高薪聘請各國學者前來任教。
西歐各國很多年輕人也慕名來日內瓦接受新教思想的熏陶。日內瓦此時成為新教思想的傳播中心，被稱為“新教的羅馬”。
加爾文在日內瓦衝破了天主教會和習慣勢力的阻撓，推行宗教改革和建立模範社會的實驗，在宗教生活和世俗生活中開創了一代新風，取得了很大的成功。但是，作為神學家的加爾文畢竟擺脫不了宗教排他性的牽絆，不遺餘力地排斥與他觀點不同的新教思想。有一次，在加爾文講道的時候，一位來自法國的聽講者對他的預定論提出反對意見，加爾文立即下令將其抓起來，長老會判其為異端，欲將其處以死刑。後經多方說情，此人才沒有被處死，隻被驅逐出日內瓦。加爾文作為宗教偏執狂的突出表現是對新教信仰者塞爾維特的態度。塞爾維特既反對天主教又批評加爾文的新教觀點，他曾在1534年向加爾文提出辯論，後來，針對加爾文的《基督教原理》，於1546年寫成一部極具挑戰性的著作《再論基督教原理》，並將此書寄給加爾文，聲言要與加爾文在日內瓦進行辯論。加爾文憤怒至極，寫信給朋友時提到：“他如果真來，我絕不讓他活著離開。”加爾文在日內瓦的地位顯而易見，此後幾乎沒有人敢與之抗衡。
1564年5月27日，加爾文逝世時，當之無愧地被稱為“唯一的國際性的宗教改革家”。但是，由於他的宗教政策較為嚴苛，還有工商業的一些限製，市議會逐漸放鬆了很多宗教道德原則，長老會也逐漸減弱了對非宗教事務的幹預，到17世紀初，日內瓦政教合一的局麵宣告結束。