因為蘇堤工程受到了很多批評，高太後對他也不是那麼言聽計從了，加上有很多官員指蘇軾的這個建議空想成分太多，就沒有讓他搞。
真是可惜，本來說不定錢塘江邊又可以多一條沒有什麼用處但名氣卻很大的旅遊景點“蘇公河”的。
此後蘇軾還提出了治理太湖和鬆江的計劃，朝廷都沒有理他。
工作娛樂兩不誤，他並沒有因為工作而廢寢忘食，在日理萬機之中，一如既往的有不少名人軼事留下來。
最為人津津樂道的大概就是和妓女琴操之間的故事了。據說琴操很有才情，會寫會唱，是那種能把男人迷昏了頭轉錯了向的有檔次有文化的妓女。這一點蘇軾非常欣賞，於是找了一個機會，和琴操同誌展開了認真的關於人生價值的討論。
蘇軾對琴操說，現在我冒充佛家長老，你來問我問題，看能不能把我問倒。
琴操就問：“何謂湖中景？”
蘇軾答：“落霞與孤鶩齊飛，秋水共長天一色。”
琴操又問：“何謂景中人？”
蘇軾回：“裙拖六幅瀟湘水，鬢帶巫山一段雲。”
“何謂人中意？”
“惜他楊學士，憋殺鮑參軍。”
琴操最後問：“如此究竟如何？”
蘇軾嚴肅地答道：“門前冷落車馬稀，老大嫁作商人婦。”
琴操聽了此話後，頓然大悟，就此削發為尼，做超凡脫俗的女高人去了。
假若蘇軾真有這麼好的嘴皮子功夫，倒不如請他到妓院工作，可以勸說所有妓女從良。隻是不知沒有了妓女，他會不會覺得寂寞難熬。
更搞不懂的是，蘇軾隻用幾句無聊的話就輕而易舉地讓一個妓女感悟出家，為什麼他自己就一直賴在塵世間呢？難道他的話都是留著勸別人的？
有很多騷人陸續來杭州拜見蘇軾，寫詩讀給蘇大人聽，請蘇大人評判優劣。有一個叫郭祥正的，“出詩一軸示東坡，先自吟誦，聲振左右”，讀完以後，請教蘇軾道：我這詩能得多少分呢？
蘇軾想了想，說，“十分詩也”。
能得到蘇軾打十分的詩，可算得上是詩中精品了，郭祥正有點不信，接著問：蘇老師，你不要客氣，我這詩真的能得十分？
蘇軾點點頭說，“七分來是讀，三分來是詩”，加起來正好十分。
郭祥正的臉一下子就紅到了屁股下麵。
蘇軾還不罷休，繼續損道：“郭祥正之徒，但知有韻就是詩。”
蘇軾跟袁通判去求雨，求雨的要求很高，不隻是需要磕頭，還要寫詩作文給雨神看。蘇軾才高，就對袁通判說，我們倆各寫一首詩，“以雨速來者為勝”，誰慢誰請客。蘇軾先寫兩句，道是：一爐香對紫宮起，萬點雨隨青蓋歸。隻一爐香的時間就求到雨了，夠快。
這種把吹牛當工作的事情，並不是他一個人在行，袁通判寫得更快，說：白日青天沛然下，皂羅青蓋猶未歸。這雨來得就更快更猛了。蘇軾隻好承認：“我不如爾速。”願賭服輸，“於是罰一飯會”，同誌們開開心心地吃喝去了，雨沒求下來，酒倒是灌下去不少。
另一位同誌毛澤民，是蘇軾手下的一個法曹，平時不入蘇軾法眼。不料毛澤民任職期滿時，曾寫了一曲《惜分飛詞》送給妓女瓊芳。這個瓊芳和蘇軾也有一腿，就把毛澤民的詞拿給蘇軾品賞。
蘇軾看了毛澤民的詞以後，大為驚歎，說，我手下有如此才情的詞人我卻不知道，真是罪過。第二天就急忙把毛澤民請了回來，一直“款洽數月”，幾乎沒把毛澤民喂成一頭肥豬。
看來在蘇軾手下幹活，工作能力高下隻是小事一樁，詩詞寫得漂亮不漂亮才是最要命的事情。
蘇軾不尊敬王安石是天下皆知的事情，有一個“三衢士人何欽聖”，專門寫了一首詩用以歌頌王安石，並“獻長篇於東坡，欲其推尊王氏”。蘇軾當然不高興，私下對別人說：這個小夥子詩寫得倒是不錯，“但觀其終篇，氣力盡於此矣”，因此斷言道，這個小夥子必然活不長了。
這個小夥子被蘇軾這麼一說，真的早死了，看來蘇軾還真是有法眼。
他有時閑得無聊，最喜歡到“祥符寺琴僧維賢房閑憩”。進了房間以後，就脫衣解帶，“露兩股榻上”，令手下的一個小吏替他搔癢。讓男的搔癢要比讓侍女搔癢更有一番情趣吧。
醒來後，他會繼續摟著妓女去調戲和尚，並且還寫了一闋《南歌子》勸“山僧莫皺眉”，“我也逢場作戲莫相疑”，大家都不過是玩玩罷了。
蘇軾做什麼都是玩玩而已。
他對自己的現狀非常失望，“功名如幻終何得”，因此隻能不斷自我安慰說要歸隱山林，並對陶淵明的詩大和特和，專門弄出了一個詩種，叫“和陶詩”，一寫就是幾百首，非常的沒有煙火氣。
他信誓旦旦地對朋友說，我是一定要歸隱的，你們等著我就是了，“西州路，不應回首，為我沾衣”。
可惜朋友們都沒有等到蘇軾歸隱。元祐六年（1091）三月，在杭州混了一年多後，蘇軾再次被招入京，去做他的吏部尚書去了。