及長，他以自己的血汗錢迎娶當地女子李楚珍為妻。閩南有句俗語：“行船走馬三分命”。說明海上作業的危險性。但靠山吃山，靠海吃海，在父親的鼓勵下，他冒著風高浪大和被海盜搶劫的危險，三次淩飆破浪，駕船南下呂宋，販賣茶葉、絲綢、瓷器等物品給西班牙、英國、葡萄牙等國商人，獲利頗豐，積攢了他人生奮鬥曆程的第一桶金。
潘文海善於學習，深通多國語言。在帆船時代，由於氣候、洋流的影響，商船每次售空貨物後，不能及時返航，潘文海隻好留在呂宋一段時期，靜待順風順流時返航。在逗留呂宋期間，潘文海不斷與所接觸的西班牙人、葡萄牙人、英國人學習語言。長此下去，他慢慢能聽並學會書寫西班牙語、葡萄牙語和英語，但都夾雜閩南話音，如英語today(今天)，念成閩南話“土地”。正是“夷語深通”，為潘文海日後在廣州行商奠定了良好的人脈關係，大展商業鴻運。
乾隆四十八年才回到潘家，幫忙父親打理家業，並且深的父親喜愛，終於在乾隆五十二年成功的接手了仁和堂成為了廣州十三行的一個扛把子，但是鑒於伍家近端時間的突出經營，因此才不得不推舉十三行第二線，讓伍家成了十三行的首領。
對此潘文海時刻的想著找回自己家中已經失去以遠的首領位置，然而在青年一輩之宗，雖然說潘文海已經表現的極其優秀，可是和年僅十四歲便轟動廣東十三行、十六歲震驚整個大清的伍秉鑒來說，潘文海顯得還是太低調了。
這次潘文海極其想要進京，拉回父親以前在京城做的關係，可是這麼長的時間接觸來，通過四年的時間，潘文海已經深刻的認識到，自從自己的父親去世後，這些關係已經不再是潘家的了，早已經被伍家取代，因此...雖說表麵上潘文海和伍秉鑒稱兄道弟，可是背地裏確實明爭暗鬥，絲毫不肯鬆懈。
潘文海的想法，伍秉鑒有怎麼不知道？麵對潘文海的文化，伍秉鑒隻是笑笑道；“潘兄可是沒有見識過李塵的厲害，若是見識過了，今天必然說不出這樣的話來。”伍秉鑒低聲道。
“哦？難道伍兄和李塵還有交集不成？”潘文海問道。
“這個...這個不滿潘兄說，不但有交集，而且還有過節。”伍秉鑒絲毫不忌諱當初的那些事情道；
“當初，李塵想要在浙江成立票號，起先我是同意的，可是後來卻被父親否決了，因此撤了二百萬的投資，令得李塵的票號發展進展緩慢，今年六月李塵的票號在廣州成立，父親其中又做了不少的手腳，所以廣州彙源號的發展甚是緩慢，甚至偶有盈虧。所說不知道父親為何這般的極力反對，但是也是因為這件事情而和李塵扯上了梁子。”伍秉鑒道。
“其實我還是和看好李塵的？隻可惜，梁子已經結下，如今，不為友則為敵了。”伍秉鑒感慨道。