就是這樣，他一再地想辭去被寵的尚書右丞、被貶的濟州司倉參軍（也就是負責倉庫管理的一個小官）之類大大小小的官職，脫掉淺淺複深深的紅衣紫衣，擱在岸上，從俗世中拔身，逃向那花木叢中，做成潔淨小宇宙，希圖以一己的大寂寞對抗大水滔滔的塵寰。然而，皇上欣賞他的才華，對他遞交的辭呈沒有準奏，於是他隻得留了下來，半官半隱。後來逃到輞川，看山聽水，修煉禪宗，也該遂了心願吧？
一切本無心得，那麼在朝在野，又有多少分別呢？所謂大隱於朝嘛。
從某種意義上說，他成功了。
在那裏生活過的那些日子，他沒有愛人，沒有你低唱、我深居、溫柔失語的橋段。也許，他認為他要建立一個理想國、烏托邦，愛情就會是這種生活的大敵？自從愛人離世，三十幾年的漫長光陰裏，他零度寫作，一筆一筆，專心寫著、畫著自己孤清的筆畫，好像做著一件神一樣的事業，都沒有再婚。猜想還有兩個可能的原因：一是他深愛亡妻，二是他篤信佛教。從他數量不很多的表現親情、愛情題材的作品看，他是一個感情豐富的人，他表現愛情的風格是含蓄、優雅、細膩的。合理想象，他可能對亡妻充滿了感情，無法做到移情別戀。篤信佛教，能使他心靈寧靜，甘於自苦。在京城居住，則“齋中無所有，唯茶鐺、藥臼、經案、繩床而已。退朝之後，焚香獨坐，以禪誦為事”（《舊唐書》）。
“一生幾許傷心事，不向空門何處消”（《歎白發》），或許他看破紅塵的同時，也對俗世的愛情失去了興趣；在那裏，他時常邀請丘丹、裴迪、崔興宗等好友前往，在別墅區內華子崗、欹湖、竹裏館、柳浪、茱萸沜、辛夷塢等景點，彈彈琴，畫畫畫兒，泥巴糊的小爐子通紅，呼呼地抽著火苗，童兒昏昏欲睡，有一搭沒一搭地用蒲扇扇著爐火，煮一釜茶，豁出半個傍晚的工夫，喝得肚腹熱熱的，提一枚燈火，到處走走看看，作作詩歌對對對子，寫梅寫桂，寫梨花石榴，寫牡丹芙蓉山茱萸……那些花朵啊，有草綠配桃紅，紅濕露重，雨中的草色綠得要染上衣來，水上的桃花瓣紅得宛如燃燒的雲霞——“雨中草色綠堪染，水上桃花紅欲然。”
有綠竹配紅蓮，綠竹新抽出了枝葉，蓮花卻要開敗了——“綠竹含新粉，紅蓮落故衣。”
有梅的紫配淡黃柳——“官舍梅初紫，宮門柳欲黃。”
也有紫梅對黃鳥——“紫梅發初遍，黃鳥歌猶澀。”
有榴紅對芋綠——“夕雨紅榴拆，新秋綠芋肥。”
有白石灘，綠蒲草，清淺又宜人——“清淺白石灘，綠蒲向堪把。”
有春天的蜘蛛在人家角落裏結網，晚歸的鳥兒隱身在花叢中，慵懶的閑適——“春蟲飛網戶，暮雀隱花枝。”
有草白對衰木，有冷霜對清月，有煙靄對月華——“草白靄繁霜，木衰澄清月。”
有一汪汪明鏡一樣的白水，被小路切割得棋盤一樣的草地，滿樹結滿黃澄澄橘子的橘林，桃紅、柳綠點綴其間——“開畦分白水，間柳發紅桃。”“草際成棋局，林端舉桔槔。”……