作為百濟遺民的後代，張保皋在新羅的地位是十分低下的，生活是十分窮苦的。這個漁民小子，偏偏從小就生了一副好身板，力氣大、膽子大，喜歡舞槍弄棒，水性還特別好。這樣的人，很容易不安分；不安分，就會琢磨怎麼找出路改變生活。當時，很多和他一樣生活在新羅沿海地區的廣大底層百姓，都偷渡去了海對麵的唐朝。
張保皋偷渡唐朝的那一年，17歲；他的小弟鄭年（鄭年比他小了差不多10歲，可以說是他拐帶來的）還不到10歲。兩個不安分的少年就這樣結伴偷渡，最後在山東半島外的赤山浦（現榮成石島）上岸，開始了全新的生活。
“西漂”的日子不是那麼好混的。兩人見青州沿海競爭激烈（新羅人多了，競爭就激烈了，苦力就賣不出價錢了），人口買賣成風，便輾轉南下，來到了東南水陸重鎮揚州。
兩人的運氣很好，在揚州混了沒多久，就趕上了鎮海節度使李琦在潤州（今江蘇鎮江）造反。東南是唐朝的賦稅重地，中原可以亂，東南決不能亂！
因此，唐朝方麵立刻做出反應，一邊調集大軍前往鎮壓，一邊就地招募壯士，充實各地守軍兵力。為了吃飯，張保皋和鄭年一起投軍，被編入徐州武寧軍中。
對付那些遊手好閑、不安分守己、喜歡惹是生非的人，最好的辦法就是讓他們去當兵——隻有老兵油子才能治住他們，隻有上陣殺敵才能釋放他們的好鬥因子。
張保皋就是這樣的人，所以他選擇了一條正確的路。
在接下來的十幾年中，張保皋和鄭年以唐軍的身份先後參加了平定鎮江李琦、淮西吳元濟和淄青李師道三鎮叛亂的戰鬥。張保皋武藝高強、英勇善戰，憑借軍功，從普通小兵一步步往上爬，最後被提拔為武寧軍中的一名中級軍官，統領1000多名士兵。
那是唐朝在開元盛世後最好的時期，史稱元和中興，也是張保皋在唐朝混得最風光的一段日子。那一年，張保皋30歲，正值而立。
大詩人杜牧在《樊川文集·張保皋鄭年傳》中這樣寫道：“張保皋、鄭年者，自其國來徐州，為軍中小將。保皋年三十，鄭年少十歲，兄呼保皋，俱善鬥戰，騎而揮槍，其本國與徐州無有能敵者。”
這說明，張保皋已打遍徐州無敵手，是唐軍中一員小有名氣的勇將了。
但張保皋是一個身在異邦心念故國，有理想，有誌氣，脫離了低級趣味的人。十幾年的征戰歲月，讓他深深地為新羅人的境遇感到擔憂。
赤山法華院
淄青鎮被平定之前，山東半島是唐朝沿海人口貿易、人口走私最為嚴重的地區。原因很簡單：淄青節度使李師道是高句麗人，而渡海來到青徐沿海的主要是以百濟遺民為主的新羅“賤民”。作為高句麗的後代，李師道家族痛恨百濟給唐朝當“狗腿子”，滅亡了自己的國家。所以那些偷渡來的新羅“賤民”便成了李氏家族牟取暴利的犧牲品。
眼看新羅人能夠在唐朝賣個好價錢，越來越多的海盜便聚集到新羅西南沿海搶掠人口，然後賣到唐朝為奴。他們當中有唐朝人、新羅人、日本人，還有遠道而來的人和契丹人。
820年，唐憲宗李純去世，太子李恒即位，是為唐穆宗。穆宗李恒寵信宦官、安於享樂，在位四年除了吃喝玩樂，基本沒幹什麼正經事，不僅斷送了元和中興的大好局麵，其裁軍令還使大量士兵走投無路，最終逼反了河朔三鎮。
不知是被朝廷裁撤的，還是自己辭職的，張保皋在824年（唐穆宗長慶四年）脫去了軍裝，回到了赤山浦，成了一名布衣。麵對越來越猖獗的海盜活動和同胞的悲慘處境，張保皋決定做些什麼。
赤山浦有不少新羅人聚居的村莊，由於都是窮苦之輩，這些新羅人也就不分誰是百濟遺民，誰是高句麗遺民，全都雜居在一起，為生存而艱難地掙紮著。或許是窮苦之人更需要有一份精神寄托，附近的新羅人幾乎人人信佛，相信今世的業障能換來來生的幸福。
張保皋原本想建村寨，把新羅人簡單武裝一下，以便對抗海盜的騷擾，但這在唐朝是被禁止的，組織民間武裝，那就是反叛行為。為此，張保皋改變策略，請求唐朝政府同意他在赤山浦修建一座寺院。修建寺院，弘揚佛法，教化百姓向善，平息刀兵，而且還是自籌經費，這是唐朝官方樂意看到的，所以很快就批準了張保皋的請求。