風吹鬆柏，聲如波濤。
那時，已到隆冬時節，剛好又下了一場大雪，鑒真步入寺中，隻見白雪覆著寶塔玉殿，層林相托，蔚為壯麗。眾人忘記了疲勞，懷著虔誠的心情，巡禮寺中聖跡，憶念先賢昔聖。
次日吃過早飯，鑒真一行又馬不停蹄向溫州進發。
他們穿過始豐縣，進入臨海縣，一連幾天，都行走在雲霧繚繞的峰巒之間，而後又沿靈江前進，到了黃岩縣。
為了盡快與法進等人會合，他們稍事休息後，繼續向溫州方向前進。
這一天，鑒真一行人投宿到一座名叫禪林寺的古廟中，次日淩晨剛要動身，忽見一群差官帶著采訪使的文牒，闖進寺內，把鑒真等人一齊扣押起來。
原來，正當鑒真在浙江東南山區艱難跋涉的時候，在揚州的弟子靈佑及各寺的上座、寺主和都維那會集一起，商議鑒真大師的去向。最後達成一致意見，認為大師發願東渡日本，登山涉海，數年艱苦，滄海萬裏，生死莫測。所以，他們決定告知官府，讓官府出麵阻止。
江東道采訪使得知消息後，立即下牒諸州，追查鑒真蹤跡。官差順藤摸瓜，把鑒真所經過的寺院的寺主全都扣押起來，進行審問，追查鑒真去向。最後一直查到了黃岩縣南四十裏的禪林寺。
這一次，官差把鑒真等人看管得十分嚴密。大批兵卒重重防衛，任鑒真如何解釋，也休想脫身半步，於是，大家隻好被強行押解回揚州。鑒真長歎不已，日僧更是悲傷至極。
回到揚州，采訪使讓鑒真繼續留住當年的龍興寺，責令寺中三綱即寺主、上座、都維那等人嚴加防護，不要再讓鑒真等人出國，除鑒真的直係弟子外，其他人員都被解散送回原地。日僧榮睿和普照則被安排到遙遠的同安郡（今安徽省安慶市）住下。
鑒真回揚州的消息一傳開，僧俗弟子一齊湧向龍興寺禮拜大師。他們極盡供養，歡喜慶賀，熱切慰勞，表達了對一代大師的無限虔誠與恭敬。
可鑒真自回揚州之後，終日悶悶不樂，憂愁不堪。
這次東渡的受阻，使數月的精心籌劃與艱辛付之東流，悲憤中的鑒真對弟子靈佑大加嗬斥。而靈佑雖出於一片好心相留，可自知對不起師父，於是一再向師父表示懺悔，每天夜裏從一更一直到五更，站了六十天，鑒真依然沒有寬恕他。最後，揚州各寺的寺主、上座、都維那及各位大德一起前來致禮謝罪，鑒真一直陰沉的臉上才又浮現了昔日的慈祥。
第四次東渡的失敗，的確使鑒真遭受到沉重打擊。
日僧榮睿、普照更是茫然無措，幾乎陷入絕望的境地。
不過，對佛法的虔誠，使他們再一次從失敗中振作起來。
時光的流逝並沒有衝去東渡的意誌，反而使他越來越強烈，越來越不可違逆。對鑒真是如此，對榮睿、普照也是如此。
心有靈犀一點通。天寶七年（748）初春的一天，日僧榮睿、普照從同安郡乘船重返揚州，再次來到龍興寺拜見鑒真大師。可鑒真大師已搬到崇福寺居住，他們又火速趕往崇福寺。
三年來，日僧遠離揚州，鑒真口中再也不提東渡之事，所以官廳早已放鬆了對他的監視。可鑒真的內心卻無時無刻不銘記著東渡的誌向。所以，榮睿、普照來到揚州後，他們又立即著手準備第五次東渡。
這一次，鑒真一方麵派人采辦各種物品，另一方麵托人在新河（今江蘇揚州市南）打造船隻，一切從速辦理。
六月二十七日，鑒真與全體東渡人員告別崇福寺，來到新河上船。同行弟子有祥彥、光演、頓悟、道祖、如高、德清、日悟、思托及日僧榮睿、普照等共十四人，水手十八人，其他工匠等共三十五人。所帶物品和第二東渡時大致相同，糧食、衣服、經典、佛像、草藥等應有盡有。
船從新河啟航，沿運河經瓜州（今江蘇邗江縣南），進揚子江，再經常州界，東下至狼山（今江蘇南通市附近）。這時，忽然刮起大風，既不能行駛，也不得靠岸，船旋轉於三山之間。天明後，幸好風平浪靜，船才駛出了長江口，進入東海之中。
到了越州的小島三塔山（今定海海中的小洋山），風向突然變化，他們又不得不停下來等候。一個月後，總算等到了順風，鑒真下令立即開船。誰知船行到署風山（今舟山島附近），風又轉了向，隻好再次停了下來。
船在暑山岸邊停了一個多月，大家心裏都十分著急。