可是哪怕修建得再好，茅草屋依然難以抵擋風雨，每到雨天，屋中便被雨水全部浸濕。然而生活中的艱苦，與王陽明內心的孤獨相比，卻是那麼的微不足道。每到長夜寂靜，他便會想念家人、思念摯友，這裏沒有人可以與自己進行心靈上的交流，即使十天半月能見到一名訪客，似乎也無話可說。
即使想說，王陽明與當地人之間，也存在著言語不通的困擾。如果偶然遇到言語相同的人士，那大多是從中原逃來的亡命之徒。他們沒有固定的居所，便用土簡單地壘起一座簡陋的房子，說是房子，其實跟土堆中挖的窟窿差不多，他們就住在裏麵。直到王陽明到來，建起了茅草房，當地人才學著他的樣子，建起了正式的居所。
驛丞是個閑職，幾乎整日無事可做，王陽明便在驛站附近四處遊走，竟然無意之中發現了一處山洞，乍看上去，有些像當初修道時居住的陽明洞。煙霧繚繞的洞口，比陽明洞更像是人間仙境。似乎冥冥中自有天注定，王陽明認為這是上天賜予他的絕佳住所，這裏不僅能夠遮風擋雨，還比茅草屋更是寬敞許多。王陽明為這座山洞取名為“陽明小洞天”，當下決定，日後就在這裏居住。他帶著仆人，親手在洞內打造石桌、石床、石椅，簡單的生活竟然也過得別有一番風味。
王陽明整日在山林之中吟詩作對，還創作了《猗猗》一詩，通過對竹子的讚頌，表達自己的信仰：
猗猗澗邊竹，青青岩畔鬆。
直幹曆冰雪，密密留清風。
自期永相托，雲壑無違蹤。
如何兩分植，憔悴歎西東。
人事多翻覆，有如道上蓬。
惟應歲寒意，隨處還當同。
也許是過慣了城市中舒適的生活，到龍場不久，王陽明的三個仆人便紛紛病倒了，但一向體弱多病的王陽明卻沒有倒下。也許是一段時間以來的奔波讓王陽明適應了困苦的環境，他不僅沒事，還承擔起了照顧仆人的工作。
主仆與尊卑，本就是人為定義的一種概念，王陽明打破了人們眼中世俗的觀念，不僅每天擔水、劈柴，為生病的仆人做飯，還親自照顧他們，為他們減輕病痛。此時，他們之間已經沒有了主仆的界限，有的隻是幾個在困境中相依相偎的親人。
在王陽明的悉心照料下，三位仆人很快便康複了。元宵之夜，遙想千裏之外，別人都在合家團圓，此處卻隻有這主仆四人相互陪伴。正在感慨間，幾名土著人突然出現在了王陽明的住所。原來，當地的土著人已經在暗中觀察了王陽明許久，他們覺得，這名新來的驛丞人還不錯，王陽明來龍場的這段時日，也多少學會了一些當地的土著語言，就這樣，經過一番似懂非懂、手腳並用的交流，他們竟然成了朋友。
在當地苗族和彝族兄弟的幫助下，王陽明在門前開墾了一片荒地，過上了農耕的生活。閑來無事，他時常與當地的土著人在一起聊天，他們驚訝於王陽明竟然有如此淵博的知識，不僅懂得詩詞歌賦，還會修建房屋，甚至還會為病人把脈開藥，更神奇的是還會看手相。
除了共同飲酒作樂，王陽明還教會了土著人如何伐木，並教他們用木材搭建房屋。當地土著人一學即會，建造的房屋不僅美觀實用，還帶有當地的民族特色。
土著人簡直將王陽明奉若神靈，他們集結了一大批人，用王陽明教他們的方法，在一座向陽的山坡上，用了整整一個月的時間，搭建了一座方圓十裏最大的院落。竣工之日，他們請王陽明到院落中參觀，王陽明發現裏麵既有臥室，又有客廳，還有涼亭。在如此荒涼的地方，這樣一座宅院，簡直堪與蘇州園林相媲美。
土著人告訴王陽明，這所院落是為他而建，惹得王陽明心頭好一陣感動。土著人的樸實和熱情，讓王陽明無法拒絕這份大禮，他為這座院落的書房取名“何陋軒”，客廳取名為“賓陽堂”，一片翠竹環繞的涼亭被他取名為“君子亭”，他決定將這裏改造成一所書院，專門用來向土著人傳授孔孟之道和儒家思想。因為院落建立在龍場的山岡上，因此王陽明將之取名為“龍岡書院”。
在龍場過了一段與當地土著人和諧共處的日子後，王陽明收到一封家信，信中說道，劉瑾知道他還活著，便想繼續報複，如今已經命令王陽明的父親返回了京城。王陽明回信道：“劉瑾的惱怒尚未得到消除，得失榮辱，我都可置身度外，唯獨生死一念，我時常獨自醒悟，覺得自己尚未能獲得超脫。”