既然童心是私心，肯定童心就是肯定私心，那就必然要尊重個體，張揚個性。若張揚個性，就要擺脫束縛，反對奴役。於是，他又提出了“不屬人管”“不庇於人”“自然而然”等一套明心見性的理論來。莊子“不為物役”的自由精神，到了李贄這裏又大放光芒，隱逸文化呈現了新的麵貌。
孔子千百年來人人敬為聖人，朱熹更是說“天不生仲尼，萬古如長夜”。李贄回答得很風趣難道羲皇以前的人都大白天點著蠟燭走路？”又說孔夫子不過是個和別人無異的庸眾而已。
李贄批這個，罵那個他心中難道就沒有一個可以看得上眼的人？有，就是王陽明。李贄說王是真夫子，不過又說王“有識而才不允膽不足”，也有不滿。
大概他隻有看得起自己了。
李贄從萬曆九年到萬曆三十年，有22年的隱居生活。正式隱居時52歲，當時正做雲南姚安知府，這個位置，對於舉人出身的人來說絕對是高位。他在姚安幹得也是如魚得水，臨走時，
“士民遮道相送，車馬不能前行”，場麵也夠感人的。
3年任滿之後，本來可以升官的，但他卻對繼續做官沒什麼興趣。他知道自己不是做官的材料，在去姚安前，就作好了離官歸隱的準備。他巳經和好友耿定理商量好，任滿3年，就來耿家居住。果然，3年後，他就攜帶家眷住到耿家來了。在耿家一住就是4年。耿的思想性情和李贄相投，兩人甚是投緣。這4年，他主要從事兩件事：教授耿家子弟，讀書著述。隻是耿定理的弟弟耿定向和李贄不合，在教育孩子的事情上和他多有衝突。沒想到，李贄後半生的悲劇，居然和這個耿定向掛起鉤。
萬曆二十四年，耿定理病逝。第二年，李贄被耿定向趕出門，搬到麻城龍湖寺院芝佛院。這一年李贄過得焦頭爛額，失去好友的打擊不算，自己一大家子人的生活也成了問題，他隻好到寺院裏去謀生。但是，到寺皖居住不可能拖家帶口，隻好狠心將家裏人全都打發回老家去。又過了4年，李贄居然刹發出家了。
李贄為什麼要出家？他自己的解釋是這樣的：“所以落發者，則因家中閑雜人等……以俗事強我，故我剃發以示不歸……又此間無見識人多以異端目我，故我遂為異端以成堅子之名。兼此數者，陡然去發，非其心也。”
《焚書》問世以後，引起軒然大波，他遭遇的第一個殺手就是耿定向。耿定向寫了一篇文章，號召弟子圍攻李贄，後來又策劃了“驅李”事件，李贄在麻城待不下去了。道學家恨不得將李贄置於死地，而李贄也有自己的崇拜者，到處有人接他過去居住，一會武昌，一會山西泌水，一會大同，一會南京，最後去了通州。李贄孤獨一身，四處漂泊，訪朋友，求知己，苦其身，樂其道。環境雖惡，心內寧靜，俗事不用於心。他在一篇文章中這樣說：“平生所貴者無事，而所不避者多事。貴無事，故辭官辭家，避地避事，孤孤獨獨，窮臥山穀也。不避多事，故寧義而餓，不肯溫飽；寧屈而死，不肯幸生。”這也算是李贄隱居生涯的一段自我表白吧。
李贄對隱士有自己的研究。他在自己最得意的著作《藏書》中，特為隱士留出一段篇幅，稱隱士為“外臣”，專辟“外臣傳”，記67人，首次將隱士分為“時隱”“身隱”“心隱”“吏隱”四類。他認為邦無道則隱的時隱，稍有誌的人都可以做到，不足為奇。“以隱為事，不論時事”的身隱，又分幾等：“有懶散不耐煩，不能事生產作業，而其勢不得不隱者”；“有誌在長林豐草，惡囂沉寂而隱者”，此類都不足為奇。他所讚賞的是“誌在神仙，願棄人世”的陶弘景式身遊物外，心切救民”的魯仲連式誌趣超絕不屈一人之下”的莊周式。然而他認為，心隱又在身隱之上。
四種隱士中，李贄最讚賞的居然是吏隱，這也是他見解不與常人一樣的地方。他說嗟夫！帶你居朝市，東方生其人也！彼阮公雖大，猶有逃名之累，尚未離乎隱之跡也。”吏隱畢竟不是隱士的正宗，畢竟與“不為物役”的精神境界大異其趣。但吏隱似乎比身隱和心隱的境界更高一等因為他連隱居的形式感都省略了，不必拘泥於山林石泉，隨處都可隱而藏之，更何況為一小吏呢？李贄認為自己就是典型的吏隱。“吾跡其終之所就，又安得不謂之吏隱乎？”
李贄住在芝佛院，常與侍者談論出家的事情。他常說“世間有三等人宜出家。其一如莊周、梅福之徒，以生為我梏，形為我辱，智為我毒，灼然見身世如贅瘤然不得不棄官隱者，一也。其一如嚴光、阮籍、陳摶、邵雍之徒”，“苟不得比幹傳說之遇高宗太公之遇文王，管仲之遇桓公，孔明之遇先主，則寧隱勿出，亦其一也。又其一者，陶淵明是也。亦愛富貴，亦苦貧窮，故以乞食為恥，而曰‘叩門拙言辭。愛富貴，故求為彭澤令，然無奈其不肯折腰何？是以八十日，便賦歸去也。此又其一也”。（嵇文甫《晚明思想史論》）
那麼，李贄自己屬於哪一類呢？“卓哉！莊周、梅福之見，我無是也。待知己之主而後出，必具蓋世之才，我亦無是也。其陶公乎？”“夫陶公清風被千古，餘何人而敢雲庶幾焉？”“然其一念真實，不欲受人間管束，則偶與之同也。”