1584年利瑪竇獲準與羅明堅神父入居廣東肇慶。他們對中國官員自稱來自“天竺”，致使中國人以為他們是佛教徒。
利瑪竇解釋來中國的原因：“我們是從遙遠的西方而來的教士，因為仰慕中國，希望可以留下，至死在這裏侍奉天主。”他不敢直接回答傳教的目的，否則他可能會被驅逐。
為了傳教，他們從西方帶來了許多用品，比如聖母像、地圖、星盤和三棱鏡等。其中還有歐幾裏德《幾何原本》。
利瑪竇帶來的各種西方的新事物，吸引了眾多好奇的中國人。特別是他帶來的地圖，令中國人眼界大開。
進入了中國的利瑪竇對中國文明非常稱讚，除了還沒有沐浴“我們神聖的天主教信仰”之外，“中國的偉大乃是舉世無雙的”“中國不僅是一個王國，中國其實就是一個世界。”
他感歎“柏拉圖在《共和國》中作為理論敘述的理想，在中國已被付諸實踐。”
而且他還發現中國人非常博學，“醫學、自然科學、數學、天文學都十分精通。”
但是他也發現“在中國人之間科學不大成為研究對象。”
1584年8月，利瑪竇在肇慶建立了“仙花寺”，開始傳教工作。起初傳教十分低調。神父們行事小心謹慎，主要精力都在學習漢語和中國的禮節習俗，以博得中國人尤其是官員們的信任。他們身穿佛教僧侶的服飾，認為這樣能夠博得人們的好感，而且他們也覺得這與天主教神父的裝束相差不大。這也使中國人更加相信他們是遠道而來的僧人。他們在這裏掛上了聖母瑪利亞的畫像，許多士人官吏，甚至僧人都來跪拜，他們感到非常興奮。但是從中國人的角度來講這更多是出於禮節性的，而沒有宗教意義。也有記述說，他們擔心中國人看到瑪利亞的畫像會誤認為他們的神是女性的，而改掛了基督像。
1584年利瑪竇製作並印行《山海輿地全圖》，這是中國人首次接觸到了近代地理學知識。利瑪竇利用解釋各種西方事物的機會，同時介紹了他們的天主教信仰。他們翻譯了《十誡》、《主的祈禱》、《聖母讚歌》和《教理問答書》。並派發羅明堅撰寫的《天主實錄》，以中文解釋天主教的教義。利瑪竇在肇慶居住六年，除帶來了歐洲文藝複興的成果外，係統地學習了中國傳統文化，期間傳入的現代數學、幾何、世界地圖、西洋樂等西方文明。
1589年夏天，即萬曆十七年，廣東新任總督把傳教士驅逐出肇慶。
1590年，利瑪竇奉範禮安之命起草一封以教宗名義致大明皇帝的信劄，其中亦稱教宗西師都五世乃居住在“天竺國”的“都僧皇”，因期盼能傳“天主正教”，“推廣慈悲，普濟世人”，特遣“博雅儒僧”四出揚教，並派“德行頗優，儒文宏博”的“上僧”等四人入華，希望明帝能對此四僧“給有劄牒，沿途迎送，以華其行”。經過多方努力，利瑪竇得以被派往韶州，在那兒他建立了第二個傳教駐地。
1594年，利瑪竇和中國的一名被派遣到朝鮮邊境的將軍一起，初步嚐試進入北京。但到達南京，又不得不返回駐地。1595年（萬曆二十三年）利瑪竇借口為一位北上任職官員之子治病，而獲得了去南京的機會。但是到了南京以後，利瑪竇陪同的官員對他逐漸失去了興趣，利瑪竇隻好自己設法留在南京。然而這一次失敗了。他隻好折返南昌，並獲得批準在此居住並建立了第三個傳教駐地。
明朝王室成員、各級官員都對地球儀、玻璃器皿、西式裝訂的書籍等禮物極感興趣，利瑪竇便在自己的住宅再一次舉行“科普”展覽，表演先進的記憶方法，出版《交友論》，並開始撰寫《天主實義》，選擇適合中國人倫理觀的西方偉人語錄加以刊行。他放棄建造教堂，公開傳教的方法，進一步用中國自古就有的“上帝”偷換“天主”概念。
利瑪竇在南昌傳教的三年，也是他的傳教策略在探索和實踐中逐步形成的過程。他與江西的官紳階層進行了密切交往和友好的對話，並在這個過程中形成了一套成功的傳教策略——“南昌傳教模式”。
1596年利瑪竇被範禮安任命為耶穌會中國教區的負責人，由利瑪竇全權負責在中國的傳教活動。並且指示利瑪竇想辦法到北京去覲見中國的皇帝，以達到在中國傳教的有力保障。而且還從澳門送去了許多準備送給中國皇帝的禮物。在南昌，利瑪竇知遇了江西巡撫陸萬垓，向他展示三棱鏡、西國記數法和鍾，並講解西方書籍的內容，他還向當地學人講解數學問題與日晷記時問題。
1596年9月22日利瑪竇在這裏成功的預測了一次日食，使他很快成為了一個有名的人物。期間結交了許多儒士權貴，受當時名士章潢之邀在著名的白鹿洞書院講學交流，與分封在南昌的皇族後裔建安王和樂安王建立了友好的關係等等。
1597年，利瑪竇被任命為中國傳教的主管。
1598年6月25日利瑪竇與另一位郭居靜神父同王忠銘一起離開南昌奔赴南京。
1598年7月初，他們一行到達南京，1598 年，利瑪竇首次進京是由南京禮部尚書王忠銘促成的。王忠銘是利瑪竇在韶州傳教時結識的老友，當時正要赴北京述職。
時值萬曆皇帝壽誕，王忠銘便邀請利瑪竇一同進京賀壽，利瑪竇也準備了自鳴鍾、八音琴等歐洲方物獻予皇帝。一行人由水路啟程離開南京，沿大運河北上。
1598年9月7日利瑪竇曆經兩個月後到達北京。漫長的旅途加之夏日的酷熱，使傳教士們一度病倒，而初到北京的喜悅，又令他們忘卻了旅途的艱辛。利瑪竇在劄記中寫道：“這真是一樁令人欣喜的事，我們不應緘默著把它放過去；隻要想想基督信仰跨過多少海洋，經過這樣長時期的接近之後，終於進入這個國度，它的使者終於進入了皇都。”然而，之後的事情遠不如利瑪竇想像中的順利。由於當時正值日本侵犯朝鮮的戰爭，整個京城戒備森嚴、氣氛緊張，人們都怕因結交洋人而惹禍上身。先是王忠銘聯係的太監拒絕將利瑪竇引入皇宮，隨後王忠銘本人也不再施以援手。
利瑪竇雖然想方設法在京周旋，但仍四處碰壁，就連昔日老友也對他避而不見。利瑪竇作為外國人無法在北京久留，而且又遇到了財政上的困難，僅住一個多月隻得返回南京。雖然未能見到皇帝，但利瑪竇首次北京之行收獲頗豐。他首先證明了《馬可波羅遊記》中記載的契丹就是中國，而國都“汗八裏”即是北京。在旅程中，利瑪竇還與神父郭居靜一同編修了第一本中西文字典《平常問答詞意》，首次嚐試用拉丁字母為漢字注音。此外，他還完成了對《四書》的翻譯和注釋工作，這對中國文化向西方傳播起到了重要的作用。
利瑪竇於1599年2月6日在南京定居。並建立了第四個傳教駐地。
在南京居住期間，利瑪竇通過瞿太素的幫助，結交了不少名士，如南京禮部侍郎葉向高、思想家李贄、徐光啟等。當然這主要還是人們對於他的自然科學知識的傾慕。值得一提的是，在南京利瑪竇還與一位三淮和尚進行了一場辯論，在這次辯論中，利瑪竇憑借其科學性的思辨明顯占了上風。
他還在正陽門內洪武崗西崇禮街建成內地第四座天主教堂，他在城西羅寺轉灣的住址後來也成為著名的天主教堂——石鼓路天主教堂。這些活動使南京成為中國天主教史上最重要的傳教中心之一。
1600年，接受了新任務的利瑪竇開始策劃北京之行。沒過多久，他就聯係了北上任南京禮部尚書的王忠銘一起帶他去南京，而且王忠銘還表示要帶他去北京。
1600年5月18日（萬曆二十八年），利瑪竇帶著龐迪我神父和準備好獻給皇帝的禮物由南京啟程再赴北京，由於太監馬堂的訛詐和阻撓，傳教士們在天津耽擱了近半年的時間，並於1601年1月24日抵達北京。
利瑪竇一到北京，就著手整理禮物進獻皇帝。進呈自鳴鍾、聖經、《萬國圖誌》、大西洋琴等禮單上開列的貢品共16件，萬曆皇帝對這些貢品興趣十足，對那些宗教聖物，萬曆皇帝既覺新奇又感敬畏，他把十字架上的耶穌稱為“活神仙”，並把聖母像送與母親慈聖太後。
對大小兩架自鳴鍾，萬曆皇帝最為喜愛，小的那架被他帶在身邊時常把玩；大的那架，被置於精美的閣樓之中，在宮內專司報時。由於自鳴鍾構造複雜，需要時常維護，傳教士們便被允許定期進宮對其進行檢修。對利瑪竇進奉的西洋琴，萬曆皇帝也備感好奇，他命利瑪竇教太監演奏。利瑪竇讓助手龐迪我教授太監，他自己則仿照宗教讚歌的形式創作了8首樂曲，並填上簡短的中文歌詞，起名《西琴八曲》。每當悠揚的琴聲在宮中回蕩時，萬曆皇帝就會想起這位來自西洋的神甫。正是這些“歐洲方物”打開了利瑪竇進入宮廷的大門，萬曆皇帝也因此對他賞識有加，允許其留居北京，深得信任。
1601年，明神宗下詔允許利瑪竇等人長居北京，作為歐洲使節被召命帶進北京紫禁城。至此他將一直擁有朝廷的俸祿，直到臨終。但大明朝廷根本沒有注意到，利瑪竇長住北京的目的是為了傳播基督教。
利瑪竇在北京以豐富東西學識，結交中國的士大夫。常與賓客談論天主、靈魂、天堂、地獄，同時編撰新書。1602年-1605年，出版《兩儀玄覽圖》第三版中文世界地圖，以及其他著作《天主實義》、《天主教要》和《二十五言》，得到不少中國知識分子的尊重。
到了1605年，北京已有200人信奉天主教，當中有數名更是公卿大臣。這當中最著名的，也是後來對利瑪竇傳教事業幫助最大的，當屬“聖教三柱石”——徐光啟、李之藻和楊廷筠。
徐光啟是南直隸鬆江府人，曾在南京與利瑪竇會麵，之後入天主教。利瑪竇在北京期間，徐光啟正供職於翰林院，他與利瑪竇結下了深厚的友誼，二人協力翻譯了《幾何原本》和《測量法義》等著作。
李之藻是浙江仁和人，時任太仆寺少卿。他師從利瑪竇學習西方科學，之後也加入了天主教。他與利瑪竇合作編譯了《同文指算》等書籍。
楊廷筠是李之藻的同鄉，在北京擔任監察禦史。楊廷鈞早年是虔誠的佛教徒，後在利瑪竇和李之藻等人的感召下受洗入教。