唐伯虎雖然給了丘養浩麵子，加上他自己也的確想做官，所以就願意接受丘養浩的舉薦，成為蘇州教材編纂官的官員。
但楊廉卻駁了王守仁的麵子，婉拒了王守仁讓他起複為蘇州教材編纂官的邀請。
因為楊廉之所以在禮部侍郎職上就致仕，就是因為他對做官沒有興趣，同時也對現今的朝廷也或多或少有些不滿，不然也不會這麼快就辭官致仕。
於是。
丘養浩不得不按照朱厚照的指示指使自己信得過的言官彈劾楊廉。
然後，楊廉就被朱厚照一道禦批聖旨給取消了致仕待遇，且被革為民，流放到蘇州城修路。
楊廉接到這道旨意後心情可想而知。
本來他是想回鄉當一個免費領朝廷俸祿，還生活自由自在又奢靡的鄉紳大老爺的，但他沒想到，就因為他拒絕了王守仁的邀請，就落得個被革為民，失去士大夫待遇，還要流放的下場。
楊廉的家人為此是哭得肝腸寸斷。
楊廉自己也不由得大罵王守仁陰狠。
但罵歸罵，楊廉也知道朝廷的旨令是不能違背的，於是，他隻能接受被流放的命運，以一個囚犯的身份，戴著枷鎖鐐銬來了蘇州。
丘養浩看著正在修路但因為連鋤頭都舉不起來而被監工訓斥的楊廉，就頗為無語，心道：“這是何必呢，閣臣親自邀請卻不肯來，如今落得個如此地步。”
但丘養浩雖然對楊廉的選擇感到不解，但他還是不得不露出一幅替楊廉不平的樣子，而大驚地走了來，且連忙喊著：“楊公！楊公！”
“好久都沒有人叫我楊公了，好想哭！”
楊廉抬起了頭，看了過來，俄然就見一穿紅袍的官員朝自己跑了來。
楊廉忙問道：“敢問這位上官是？”
丘養浩忙熱情而又不失同情地把住了楊廉的手：“楊公，晚輩乃丘養浩，現忝居蘇州知府一官，聞知您被發配於此，特來拜訪。”
說著，丘養浩就喝問起這裏的監工來：“你們文郎中呢，他在哪裏，叫他來見我，這是怎麼回事，竟讓楊公做如此累話，這挖地的活，能是楊公幹的嗎，知不知道楊公可是成化二十三年的進士，做過部堂的！”
楊廉見丘養浩為自己鳴不平，還如此尊敬自己，即便自己現在已經被革職為民，心裏自然感動，同時也因此更加懷念起自己以前做官橫行八麵的時候。
“府台息怒，我們文老爺在禦前回話，一時半會估計回不來。”
這監工小心翼翼地跪在丘養浩麵前回道。
楊廉見此場景自然是羨慕的，心想曾幾何時，他也是這麼威風的，沒有身份的人在他麵前也是跪著說話的，哪像現在還要被人像牲畜一樣喝斥著。
丘養浩則裝腔作勢地哼了一聲：“他文征明能見到陛下，本官也能見到陛下，等他回來，你告訴他，他要是再敢讓楊公這麼辛苦，本府定要在禦前告他！”
說著，丘養浩就朝楊廉拱手見禮道：“楊公，你素來是晚輩所敬仰的人，如今見您落難於此，晚輩實在不忍，請楊公放心，晚輩就算自己的命不要，也要去陛下麵前為楊公求情，求陛下恢複楊公的官身，定不能讓您受如此苦！”
楊廉很感動，感動的都快要哭了，他沒想到還有這麼義氣的晚輩。
楊廉甚至感動地跪了下來：“多謝府台相救！老朽此身感激不盡！嗚嗚！”