第一個想起到中國傳教的人並不是利瑪竇，而是一個叫聖方濟·沙勿略的人。沙勿略是西班牙人，和羅耀拉是哥們兒，都是耶穌會的創始人，他也是第一個被耶穌會派往東方傳播福音的人。從1540年教皇正式承認耶穌會開始，他先後來到印度、東南亞和日本等地傳教。在日本傳教的時候，沙勿略第一次真正認識了中國。因為每當和日本人爭論關於宗教和政治問題的時候，日本人總是拿中國說事，“即在涉及宗教崇拜的問題以及關係到行政方麵的事情上，他們（指日本人）乞靈於中國人的智慧”。那時候的日本還對中國文化充滿了敬意。
這些讓沙勿略感到，中國也一定是一個可以接受並且皈依基督教福音的地方，“沙勿略是第一個耶穌會教士發覺了這個龐大帝國無數百姓是具有接受福音真理的資質的，他也是第一個抱有希望在他們當中傳播信仰的人”。於是他開始嚐試進入中國的通路。明朝自洪武年間就開始實行所謂的海禁，到16世紀海禁雖然已經比較鬆弛，但還是有很多軍隊把守著海岸線，不允許任何來自外國，沒帶正式公文的人進入。明朝的洪武皇帝，也就是那個喝過珍珠翡翠白玉湯的朱元璋，可能由於自己出身小農夫小和尚，就特別討厭從海上冒出來的、黃頭發大鼻子的洋人。他們除非是來給大明朝進貢，否則一概不許接近他統治的天朝。
沙勿略知道中國的規定，所以他想通過印度總督組成一個進入中國的正式使團，如果能夠進入中國，並得到當局的允許，他就公開傳教，否則就秘密進行。可是由於受到許多方麵原因的幹擾，以及來自他們內部的意見不合，正式使團進入中國的計劃最終沒有實現，於是他決心獨自前往中國。1552年12月2日，在距離中國海岸隻有30海裏，當時還十分荒蕪，現在已經是一個非常熱鬧的旅遊勝地的小島—上川島上，衣衫襤褸、身患瘧疾的沙勿略沒有等到答應來接他偷渡的人，悲慘地死在了沙灘上，去世時隻有46歲。沙勿略雖然沒能成功登陸中國，但是他那忘我的和堅忍不拔的精神鼓勵了其他虔誠的耶穌會教士，經過艱難的努力，在沙勿略去世30年以後，也就是1582年，耶穌會教士終於成功進入了中國內地。