莫說湘南寺，令人絕痛渠。中間緣國論，偶似《絕交書》。衫短枯荷葉，牆高過筍輿。人生須富貴，富貴竟何如？（《誠齋集》卷四十一）首聯中的“湘南寺”，指湖南衡州城東的開福寺，為趙汝愚葬地。作者痛悼被韓侂胄迫害而死的趙汝愚。接下則含蓄譏諷陸遊熱中仕途，與韓黨接近，最後提出規勸。據《宋史·楊萬裏傳》，楊萬裏聽到開禧用兵消息時，竟不食而死。他是堅持反對北伐的，與陸遊立場完全相反。
通觀兩人交遊，詩酒唱和酬答，多屬文字之交，學術係統、詩作流派及風格不盡相同。他們極少議論時政，常彼此推許，但保持一定距離。淳熙十二年（1185），楊萬裏向宰相王淮進呈《淳熙薦士錄》，共推薦六十名人，各加評語，請王淮擢用，卻沒有陸遊之名。楊萬裏與陸遊政治理念和立場不同，即使承認陸遊有行政才能，也不會推薦他。兩人唱和之作，獨陸遊集中散佚，其中可能有深意。
楊萬裏平生以張栻、朱熹、呂祖謙為師友，屬道學家派別，講心性，不言功事，於國事主和而反戰。陸遊因受家學影響，屬臨川（王安石）學派，講事功，主戰而反和。從政治立場上看，分屬不同的政治派別，兩人互為“反對派”，是“敵”而非“友”。因此，在重大國事問題上，兩人的矛盾便是情理中的事了。楊萬裏一再批評陸遊，陸遊皆無“回應”，可能是“道”不同不相為謀的態度吧！而陸遊幾乎沒有批評楊萬裏的文字，隻有不滿的情緒流露。於此，可理解為陸遊的涵養大度，待友以善；亦可理解為陸遊對自己的選擇心有不安，故以沉默來“回應”友人的批評。
兩人相互推崇，切磋詩藝。陸遊《老學庵筆記》卷一記載道：
楊廷秀在高安，有小詩雲：“近紅暮看失燕支，遠白宵明雪色奇。花不見桃惟見李，一生不曉退之詩。”予語之曰：“此意古已道，但不如公之詳耳。”廷秀愕然問：“古人誰曾道？”予曰：“荊公所謂‘積李兮縞夜，崇桃兮炫晝’是也。”廷秀大喜曰：“便當增入小序中。”
楊萬裏充分肯定陸遊詩歌成就和地位。張鎡，字功父，從陸遊學詩，能傳其衣缽。楊萬裏《跋張功父通判直閣所惠約齋詩乙稿》曾以“孤芳後山種，一瓣放翁香”稱之。（《誠齋集》卷二十一）《謝張功父送近詩集》尾聯雲：“近代風騷四詩將，非君摩壘更何人？”句下自注雲：“四人：範石湖、尤梁溪，蕭千岩、陸放翁。”（《誠齋集》卷二十九）《進退格寄張功父薑堯章》雲：“尤蕭範陸四詩翁，此後誰當第一功？”（《誠齋集》卷四十一）首次將四大詩人並提。又《詩話》雲：“自隆興以來以詩名：林謙之、範至能、陸務觀、尤延之、蕭東夫。近時後進有：張鎡功父、趙蕃昌父……前五人皆有詩集傳世。”（《誠齋集》卷一百十四）楊萬裏眼中，當世有幾位大詩人，陸遊便是其中之一。《千岩摘稿序》說陸遊詩風“敷腴”，是對陸遊的“元評價”，影響後世甚大。
陸遊和楊萬裏交遊，善始卻未善終，留下遺憾。他們因政治理念不同而產生一些隔閡，但沒有影響詩歌上相互推崇。終其一生，可稱為“君子之交”。人品評價上不應簡單比高低，而應具體分析。詩歌成就上，各有所長，又各有所短。總體影響上看，陸遊高於楊萬裏，這是不必懷疑的史實。