1698年8月25日黃昏，沙皇悄然回到了莫斯科，開始了他偉大的變革。
第二天，在領主們到奧勃拉任斯科耶祝賀他凱旋歸來時，沙皇親自操起一把剪刀，親自剪除了領主們的大胡子。幾天之後，他對宮廷侍從小醜又動了一回剪胡子的“手術”。這個改變俄國人外觀的措施，本來微不足道，可是在彼得往後的統治史中，似乎起了相當重要的作用。
崇拜胡須的風尚是正教教會造成的。教會認為，這是上帝賜予的裝飾品，是俄羅斯人引以為驕傲的珍品，並宣布剪胡子的作法是一種大逆不道的罪孽。
彼得把剪胡子的政策頒布全國，宣布俄羅斯要把剪胡子作為全國居民的義務，要留胡子得出錢購買留須權，規定要交留須稅。特製一種銅牌子，作為繳納留須稅的收據。
彼得和夫人的關係已經難以維係了。這時彼得專門處理和她的離婚。幾經周折後，一輛沒有護衛的簡樸馬車終於從克裏姆林宮馳往蘇茲達爾修道院，她改名換姓為葉蓮娜，開始了淒涼的修女生活。
接著，彼得嚴厲地鎮壓了射擊軍，他不允許射擊軍一而再、再而三地謀反。彼得把莫斯科變成了殺人場，1000多名射擊軍成員被斬首、分屍、吊死；還有成千上萬的人被處以鞭刑，右臉被打上烙印，發配西伯利亞；16個團被解散，成員遠離莫斯科，終身不可離開那裏；死者的家屬也被趕出京城，以乞討為生，他們要替死人贖罪。“幕後”人物索菲亞公主也受到更嚴厲的懲罰，在她窗前掛滿手拿紙條的射擊軍屍體。
整肅結束後，彼得又開始了他轟轟烈烈的改革運動。1699年1月，頒布了實行市政改革的敕令。這項敕令促進了手工業、工業和商業的繁榮，從而使俄國國庫充盈，保證國家經濟、國力的增長。
在此同時，彼得又開始了服裝革命，規定：男人要穿短上衣，女人要穿裙子……如果違反敕令，要受罰款等處理。
1700年元旦，彼得又廢除東正教曆法，采用歐洲多數國家采用的以基督生日為一年起始的曆法，而且他還規定婦女可以走出家門，進行社交活動等。
1702年12月，第一份俄國報紙《新聞報》創刊和印刷所建立起來了。外文書開始翻譯出版，劇場出現了，算術課本、字典也開始編纂。落後愚昧的俄國，正急急忙忙地朝文明社會邁進。沙皇又在教會實行變革，不設立主教，而設立代理主教，又對教會進行了諸多限製。
彼得又采取軍艦恐嚇的辦法同土耳其簽訂了和約，他又聯絡薩克森選帝侯、丹麥國王訂立了反對瑞典的著名的“北方同盟”。
1700年8月8日，彼得下令向瑞典進軍，實現他的理想——把自己的版圖延伸到波羅的海，把曆史上俄國曾經擁有的城市奪回來，並為俄國攫取新的領土。
無奈彼得出師不利。他向瑞典宣戰的當天，丹麥不戰而降，退出了和俄國的同盟。俄軍9月23日仍然兵臨納爾瓦城下。11月18日，瑞典國王查理十二世親自率隊迎戰，次日兩軍會戰，俄軍一敗塗地，陣亡、溺斃、餓死者達6000之眾，炮兵連135門大炮全部損失，指揮官或降或亡。
在嘲笑和恥辱麵前，彼得像第一次出征亞速失敗後一樣，很快振奮起來，總結經驗，積極準備反敗為勝。他馬不停蹄地奔走於阿爾漢格爾斯克、沃羅涅什、首都、前線之間。一輛普通的馬車或雪橇，既是他的交通工具，又是他的棲身之所。他使俄國的男女老幼、僧俗軍民都投入了戰備。在全國大規模征兵和製造武器，很快地俄國的軍隊武裝起來了。
俄國軍隊終於開始取得勝利。1702年初的一次戰鬥中，1700名瑞典軍隊被殲者達1000之眾。1702年秋到1703年春，俄軍又忙著在涅瓦河西岸作戰。一場持續12小時的酷烈而艱苦的攻堅戰後，一座俄國老祖宗的城堡又被俄軍從瑞典手中奪了回來。彼得為這座城堡改名為施利色堡（鑰匙城）以表示這座城堡的重要位置，它將是打開波羅的海的一把鑰匙。接著，在攻克涅瓦河口另一座城堡寧尚茨堡後，俄軍由8隻小艇組成的艦隊又贏得了第一次海上勝利，俘獲了兩隻瑞典艦船。
涅瓦河流域，包括入海口都已掌握在俄國人手中，彼得又堅固了防禦工事，1703年5月16日，在盧斯特·艾蘭特（快樂島），一座城堡動工興建，它被取名為聖彼得堡。誰能想到，這就是10年後的俄羅斯首都！但當時，它隻是由6個碉堡構成的城堡，再加上附近的一座木屋“彼得小屋”。彼得又開始建立艦隊，來保衛新土地，他在涅瓦河的入口處又修建了一座城堡，並在彼得堡修建了一座造船廠，以便為後來同瑞典作戰時保證海上優勢。
瑞典國王查理十二世根本不把這些放在心上。1704年7月，俄軍又占領了傑爾普特。之後又包圍了納爾瓦長達兩個月之後，彼得采取巧攻方法使傲慢守軍司令戈恩投降。洗雪了第一次納爾瓦戰役失敗的恥辱。
但他沒有馬上班師回朝，炫耀勝利，而是帶領將軍和大臣，打掃兩個戰場，參觀要塞、塹壕和工事。他親自擔任教官，向臣屬講述“炮火筵席”的細節和經過。
沙皇在經過一段巡視後，於12月14日，帶著納爾瓦的俘虜和戰利品回到莫斯科，舉行了盛大的入城儀式。
彼得終於在4年前慘敗的納爾瓦贏得了勝利。歐洲也開始重新認識這位32歲的沙皇。他在沒有外援的情況下，勵精圖治，在1705年前取得了超乎預料的勝利使沙皇俄國成為威震鄰邦的強國。
俄國雖然取得了納爾瓦戰役勝利，但瑞典仍很強大，瑞典在波蘭境內徹底打敗了波蘭，於1706年6月迫使奧古斯特二世簽訂和約，並在波蘭扶植了傀儡政權，接著，瑞典要大舉進攻俄國。
這時，俄國爆發了阿斯特拉罕射擊軍和城市平民的起義。起義者在1705年7月30日控製了這座城市達7個月之久。沙皇派兵鎮壓了起義，組織起義的人受到車裂和酷刑。近300人被送上斷頭台和絞刑架，為了緩和矛盾，彼得同時宣布廢除若幹苛捐雜稅，暫時停止禁穿俄式長衫和禁蓄胡須的敕令。
彼得為了處理國內事宜，他要與瑞典講和，但遭到拒絕，彼得隻得加強備戰。
正當查理十二世揮師東進，指向沙皇的莫斯科時，頓河流域的哥薩克和牧民在布拉文領導下，於1708年4月8日舉起義旗。起義規模越來越大，並打敗了沙皇軍隊。彼得用殘酷手段鎮壓起義軍，下令把“布拉文分子”絞死在靠近他們家鄉的城鎮通路上。7月，起義軍失利，布拉文被叛徒謀害身亡。零星的義軍又頑強抵抗兩年之後被彼得鎮壓了。
彼得加強備戰，裝備了戰艦，招募了新兵，使用了剛在法國推廣的新式刺刀，創建了歐洲第一個炮兵中的騎兵部隊，還提高了火炮技藝。
1708年初，瑞軍向俄國挺進，俄軍避敵鋒芒。撤離時實行焦土政策，堅壁清野。瑞軍所到之處，馬無草料，人無糧食，失去了能征善戰的昔日雄風。1708年8月，彼得打敗了查理親率的5個裝備齊全的團隊，瑞軍遺屍3000具。接著，又打敗了瑞典一次短兵戰。
瑞典軍隊兩次受挫後，轉而向南——富饒的烏克蘭進軍，那裏的烏克蘭統領馬澤帕也暗中和查理十二世勾結。這時，彼得的“快速突擊隊”在林村與瑞典援軍部隊交戰，1.6萬多人的瑞軍死亡大半，輜重車隊和炮兵幾乎全部損失。
烏克蘭統率並沒有給瑞軍帶來多少援軍，土耳其人也按兵不動，受孤立的瑞軍在饑寒交迫中經常受到哥薩克的進攻。1709年4月，到達波爾塔瓦時，隻剩下人數不多疲憊之師了。
彼得在積極備戰的同時，又忙裏偷閑處理內政，之後他又帶領241艘船組成的艦隊，向土耳其示威。
此時，查理十二世率部隊包圍波爾塔瓦，7個月進攻仍未能攻破該城，緬希科夫先攻擊另一支瑞軍占領的城池，趁瑞軍分兵去救時，送彈藥給波爾塔瓦守軍。
6月27日著名的波爾塔瓦戰役開始了。瑞軍先開始進攻，突破了俄軍部分防線。但彼得親自反攻，穩住陣勢，側翼俄軍和炮兵向瑞軍猛攻，使瑞軍損失慘重。瑞典終於大敗，查理和他的殘兵敗將逃向第聶伯河。
瑞典作為軍事強國的昔日雄風，在波爾塔瓦一戰喪失殆盡，歐洲又重新評價彼得。他又重新建立反瑞典同盟。北方霸主已不是瑞典，而是俄國了。