在《教育世界》雜誌成功創辦後，去日本考察數月的羅振玉，回國後便接受了南洋公學東文學堂監督一職，他了解到王國維喜愛哲學方麵的書籍，便自費買了大量哲學方麵的原版西方哲學書籍供其閱讀。1903年，經羅振玉的介紹，王國維到張謇辦的通州師範學堂任職，在這裏供職一年多後，接著在蘇州學堂任職。
光緒三十二年（1906年），羅振玉入京任學部二等諮議官。王國維又跟隨羅振玉一家京城謀生，並由羅振玉在學部為他謀了一個職務，並讓他住在自己家中，這樣既可共同探討學問，還可以讓家中仆人照顧王國維的生活。在京城供職的兩三年內，王國維先後失去了父親、妻子、繼母三位親人，這使得他悲痛欲絕，幸好有老朋友羅振玉的無微不至的關懷，使他感到這個世界還有幾許溫情。
辛亥革命爆發後，統治中國幾千年的帝製頃刻間土崩瓦解。在這“三千年未有之曆史大變局”之際，身為朝廷四品大員的羅振玉害怕自己會成為革命的對象，而且他還收藏了很多圖書、器物，一旦被沒收，多年的心血就會付諸東流，所以他急切希望尋找到一處避難之所。而當時的王國維還是朝廷中不入流的角色，按理說，可以不用避難，但當他想回到老家海寧時，船票已經瘋漲了幾倍，並且很難買到，再加上當時他也是一個學術至上的人，很需要一個清靜之地治學，於是與老朋友羅振玉又是同進退。他們經過一番商量後，決定聽從朋友的安排，前往日本，這樣王國維便開始了流居日本五年多的生活，故地重遊，自然是頗多感慨。
羅振玉和王國維寄居日本京都，在這裏他們共度了四暑五冬，研究學問，朝夕相守。在羅的影響下，王棄文學而轉向經史考據之學，不僅在學術研究方向上，而且在思想上都發生了重大變化，連平日非常崇慕的西洋文化也絕口不提了。
王國維這次在日本謀生的日子更為拮據，主要依靠羅振玉每月一百元的資助來養活一家人，王國維雖然也去找了幾份工作，但收入很是微薄。不過來到日本的羅振玉卻是感到非常慶幸，因為他完整保存了大量收藏的圖書和古器物資料，在他和王國維整理的過程中，驚訝地發現圖書竟有五十萬餘冊，還有多得難以計數的甲骨器物。如此豐富的藏品是羅振玉用辦雜誌所得和全部的薪水換來的，而這些珍貴的藏品也為他們日後的學術研究奠定了堅實的基礎，實乃中國文化之幸事。
由於這段時間王國維和羅振玉幾乎是朝夕相處，所以也開始了他們在學術上的合作和思想上的真正交流。在此期間他們對古代的封泥產生了興趣，封泥就是在紮捆簡牘的絲繩兩端或是交叉的地方用黏土固定封存，並在黏土上鈐印以備驗證，這塊蓋有印章的泥土就被稱作封泥。由於簡牘易腐爛很難保存完整，就更不要提封泥了，所以，能見到的封泥都屬於極其珍貴的文物。羅振玉以其學術的敏感與前瞻性，曾經收集了一些這種封泥，而王國維在前期也寫了《封泥考略》、《齊魯封泥集存》兩篇關於封泥的文章，頗有影響力，於是二人一拍即合，立即投入到對封泥的研究當中，取得了豐碩成果。
當時的中國積貧積弱，有很多珍貴文物被倒賣到外國，有一個研究漢學的匈牙利學者沙畹就借助這些從中國掠得的簡牘著書立說，並把其中一本未出版的書寄給王國維。在讀了這本書後，他們發現書中有很多遺漏和錯誤之處，這樣他們就決定對這本書進行校改。他們分工合作，曆經三個月的精心研究，著成了《流沙墜簡》一書，全書共分三卷。羅振玉負責其中的小學、術學、方伎及殘損或字跡不清簡牘的考釋，王國維則專門對記述有漢代屯戍邊軍事方麵內容的殘損簡牘進行考釋。這是他們相識十五年來的首度合作。該書成為中國近代最早研究簡牘的著作。
這段時間，他們還對甲骨文的研究狠下工夫。在羅振玉所搜集的甲骨文中，他們真正感到對甲骨文的考證與釋析的重要性，但他們研究的側重點是略有不同的，羅振玉比較倚重對甲骨文的釋析，而王國維則是通過這些文字的背後來考證殷商時期的社會曆史。羅振玉深感自己擁有這些甲骨，研究甲骨文是責無旁貸的事情，於是在他精心的編撰下，經過數十天的閉關撰寫，終於完成了《殷虛書契考釋》的初稿，並邀請王國維與其共同商討，進行修改，而通過王國維對書稿的錘煉，自然使得書稿的文字更趨成熟與完美。在這本書的成書過程中，他們通過各自觀點的鮮明透析，為後來學者研究甲骨文奠定了基礎，同時，我們也可以看得出，這是羅、王通過傾力合作成就的學術成果，也是後世一直稱讚的“羅王之學”。
“羅王之學”以安陽之商朝甲骨，敦煌之漢魏簡牘，千佛洞之唐宋典籍文書等出土新資料為研究對象，以重建中國上古史為目標，進行了劃時代的研究，把中國曆史向上推進了一千餘年，從而取得了讓世人驚奇的卓越成果。羅振玉在學術上識斷過人，精力旺盛，多有開創之功，而王國維則承繼其後，展開精密深邃的研究，將新出現的諸多學科推進到更高的水平。
在日本期間，王國維有感於時局動蕩和清王朝滅亡，結合所思所感，有不少詩作問世，編定詩集《壬癸集》。這一時期，他學術上頗有成就。他自述此間“生活最為簡單，而學問則變化滋甚。成書之多，為一生冠。”
王國維不願再以全家生活有累羅振玉，遂於1916年回國。在哈同“廣倉學窘”《學術叢編》任編輯主任，兼倉聖明智大學教授。主要從事甲骨文字及商周曆史研究，做出了超越前人的成就，曾參與編摹《浙江通誌》，為江南著名藏書家蔣汝藻編《烏程蔣氏密韻樓藏書誌》等。並將辛亥以來重要的研究成果，編成《觀堂集林》，其中《藝林）八卷、《史林》十卷、《雜林》二卷，對後世具有很大的影響。此時，羅振玉還是繼續留在日本，生活也過得比較艱難。然而，他是一個很有商業頭腦的人，他讓王國維在國內幫助收購和鑒別古書畫來轉手賣給日本人，賺取其中的利潤差額。
1919年，羅振玉一家也回到國內，並開始籌劃將三女兒羅孝純嫁給王國維的長子王潛明的事情。為了在晚清的小朝廷上大撈一筆，羅振玉成為了保護清王朝的“鐵杆”遺老，他也極力拉攏王國維一起進入晚清小朝廷中。溥儀對王國維的學識非常賞識，特詔他為南書房行走一職。而在王國維一直推遲任職時，羅振玉寫了多達五六封的信件敦促他立即北上，因為當時，他正與得到溥儀賞識的另一位遺老鄭孝胥勢不兩立，一旦王國維任職，便可以成為他的眼線監視朝廷內部的一些事情，並及時彙報到他那裏，儼然王國維已經成為羅振玉政治上的一枚棋子，也可以說是羅振玉在利用王國維。
王國維在擔任南書房行走期間，與羅振玉發生了一件不愉快的事情。一次，王國維準備把自己整理出版的一部著作《觀堂集林》進呈溥儀，當在天津的羅振玉通過書信來往得知這件事情後，也希望他把自己的《殷虛書契前編》、《殷虛書契後編》和《殷虛書契考釋》一起進呈，王國維此時並不想自己成為遺老中鬥爭的棋子，於是婉言拒絕了羅振玉的請求。