失去了這兩層保護，山人隻能靠幹謁求乞，寄食四方，境況淒涼。這種現象在曆史上也有，但形成為一個龐大的群體還是在明代。當然，這種變化並沒有引發出社會結構的變動，一方麵因為山人處於社會的底層，且隻是一個鬆散的群體，為了生活而奔走權門，無法形成促進變革的力量，他們也沒有這樣的意識；另一方麵，山人隻是明代士人階層內部的一個層級，他們隻對個體如何在社會上生存感興趣，對整個社會製度很少進行理性的思考。作為士人階層的最下一層，他們在根本上是維護現存製度的。例如，山人大部分是科舉失敗者，很多人對科舉抱著非常矛盾的態度。他們對科舉十分厭薄，但這隻是性情上的，在現實中他們又不得不多次應試，隻是由於命運多舛，才沒能取得更高的科名。
在漫長的社會進程中，這些下層士人在社會結構中的地位總體而言沒有多大變化，但文化地位開始提升。明初，館閣文學還占有優勢，宋濂《汪右丞詩集序》：“昔人之論文者，曰有山林之文，有台閣之文。山林之文，其氣枯以槁；台閣之文，其氣麗以雄。豈惟天之降才爾殊也？亦以所居之地不同，故其發於言辭之或異耳。”邢雲路也曾說：“明興，文教燁雪，十九輦上，君子委蛇操觚，韋布之士堇堇耳。”此後，這種狀況開始改變，李東陽就曾將“館閣之文”與“山林之文”並提。弘治、正德之際的吳中作家群中除了吳寬、王鏊外，文徵明、祝允明、唐寅雖有一定的功名，但也以布衣自命，其他人皆為布衣之士。他們在不同程度上疏離廟堂文化，轉向山林乃至市井文化，顯示出在野之士卓然自立的文化心態和審美心態。隨著複古運動的開展，台閣文學勢力逐漸被曹僚所取代，陳田曾引黃道周雲：“嘉靖初年，議臣鷙起，文章之道散於曹僚，王弇州、李曆下為之歸墟。實際上，文章之道散於曹僚”應始於弘治間的前七子。早在弘、正間前七子盛行之際，山人就依附於複古陣營，如程誥、黃省曾依於李夢陽，孫一元依於鄭善夫等。嘉靖、萬曆以來，山人與後七子的關係非常密切，除了徐渭同他們沒有往來以外，其他人都極力依附。山人通過依附於文學集團，擴大了山人群體的文學影響，引起了社會的關注。這時，以山人為代表的山林文學開始以一個龐大的創作群體出現於社會上，享有很高的文學地位，如趙康王序謝榛詩時，論及正、嘉以來文壇，於王、李之外，“乃於隱逸，爰取三人：孫太白、張昆侖、謝四溟”。邢雲路稱謝榛於後七子“以布衣祭酒”。汪道昆在《翏翏集序》中對“大方家”論當世之詩，“上不在台閣，下不在山林”的觀點表示異議。萬曆中期以來，山人的文學和文化地位空前提高，“吳門自文待詔歿後，風雅之道，未有所歸，伯穀（王稚登）振華啟秀，噓枯吹生，擅詞翰之席者三十餘年”。陳繼儒更聲名遠播，傾動寰宇。程嘉燧《陳眉公七十贈詩》：“山中宰相神仙策，海上園公綺季心。”王思任在《晚香堂小品序》中讚陳繼儒：“天固忌之，不以白衣牽帝座，而使之山中宰相以老；弱其雄心，以寫景標韻於水山僧鳥之際。”吳從先曾輯明代三百年布衣之詩，名《布衣權》，更顯示了明代山人文化地位不斷上升的事實。它表明明代的布衣詩人（主要是山人）巳經逐漸成為文學界的重要角色，在文壇上占有一席之地。
晚期山人不再幻想隱居田園，杜絕人事，而是隱於市，既得世俗之樂，又享隱逸之福。同時他們還開始進行藝術經營活動。以陳繼儒為例，他延招吳越間“窮儒老宿隱約饑寒者，使之尋章摘句，部分族居，刺取其瑣言僻事，薈萃成書，流傳遠邇。款啟寡聞者，爭購為枕中之秘”。這樣一來，陳繼儒名利兩收，一改山人寒乞之態。晚明有一大批失意士子加入到圖書的編纂、出版活動中，這是很具新意的活動，耐人尋味。它一方麵使山人擺脫了依附於人的生活方式，另一方麵也擴大了山人的影響，提高了山人的文化地位。晚期山人的影響力還表現在山人文化已被社會廣泛接受，晚期山人所倡導的清雅閑適的生活習尚和抄撮古人成語為書的風尚波及了整個文人階層，甚至影響到了各級官員，不隻是一些失意士子。四庫館臣常以“山人結習”、“山人之習”稱之。但這種變化並沒有引發出社會結構的變動，一方麵因為山人處於社會的底層，且隻是一個鬆散的群體，為了生活而奔走權門，無法形成促進變萆的力量，他們也沒有這樣的意識；另一方麵，山人隻是明代士人階層內部的一個層級，他們隻對個體如何在社會上生存感興趣，對整個社會製度很少進行理性的思考。作為士人階層的最下一層，他們在根本上是維護現存製度的。他們的成功主要表現在文化上，以獨特的人生體悟，通過吸取傳統文化與當代文化思潮的活力，調和精神解脫與生活享樂，創造出了能夠代表群體自我的新型文化產品——小品，成為晚明文化的代言人。不過，這種努力卻由於明清之際的改朝換代，遭到了來自學者和官方的雙重批判，最終夭折。明代山人在清代發生了分層演化，上層人物成為幕僚，下層人物成為師爺，我們可以用“衙門行走”來概括他們的身份特征。
趙翼總結有明一代的文學時，曾將明代文人分為四類：一類是進士出身，入翰林院的翰林學士，一類是進士出身，官部郎、部曹、中書舍人、中書行人及知縣者，一類是舉人出身者，最後一類是不由科名而才傾一時者。翰林館閣諸公在明代文學中地位不如前代，趙翼說：“一代之中赫然以詩文名者，乃皆非詞館。如李夢陽、何景明、王世貞、李攀龍所稱四大家者，皆部郎及中書舍人也。”而那些“不由科目而才名傾動一時者，王紱、沈度、沈粲、劉溥、文徵明、蔡羽、王寵、陳淳、周天球、錢縠、謝榛、盧柟、徐渭、沈明臣、餘寅、王稚登、俞允文、王叔承、沈周、陳繼儒、婁堅、程嘉燧，或諸生，或布衣山人。各以詩文書畫表見於時，並傳及後世，回視詞館諸公，或轉不及焉”。可見明代山人在明代文學中的地位是相當高的。四庫館臣在編輯《四庫全書》時對山人屢加指責，以之作為明代澆離之習的代表，但反過來看，不正證明了明代山人在明代的文化地位和影響嗎？
一
山人是一個備受歧視的群體，飽受各方的冷眼，連山人自己也不得不有所表示。正統勢力甚至將士風敗壞之責推到他們身上，萬曆二十九年（1601）十月冊封皇太子，詔書內有驅逐山人的命令。在清代，山人也成為攻擊目標。乾隆間開館修四庫全書，是山人受到集中攻擊的一個時期。在《四庫全書總目》中“山人”意味著附庸風雅，山人的文化產品——“山人小品”一詞則意味著“語意纖仄”、“割裂餖飣”、“詞意儇薄”、“滉漾自恣，不軌於正”。晚明山人的很多著述都被列為禁書，如徐渭、王稚登、陳繼儒。周作人曾說：“清朝士大夫大抵都討厭明末言誌派的文學，隻看《四庫書目提要》罵人常說不脫明人小品惡習，就可知道。這個影響很大，至今耳食之徒還以小品文為玩物喪誌，蓋他們仍服膺文以載道者也。”
20世紀30年代的中國文壇上掀起了一股小品文熱，以晚明小品為榜樣，提倡小品文寫作，並在晚明小品文與新文學運動的散文創作之間建立起血緣關係。山人作為晚明作家群的重要成員，自然也受到注意。但山人研究一般還隻停留在介紹上，並且附屬於晚明小品文研究，人們談到的山人有屠隆、陳繼儒、張大複、王稚登、莫是龍。這些研究沒有係統性，都以雜感、散文的形式出現。文章大多發表在幾個小品刊物上，如《人間世》、《論語》。不過，他們也有極敏銳的目光，如周作人就多次表示對山人的蔑視，他說張大複的“文學思想還是李北地一派，其小品之漂亮者亦是山人氣味耳。明末清初的文人有好些都是我所不喜歡的，如王稚登、吳從先、張心來、王丹麓輩，蓋因其為山人之流也”。在他們眼中“山人習氣”意味著虛偽、逢迎、幹渴，品格低下，且將晚明放縱自我、追求享樂、逃避現實的人生態度發揮到了極致。阿英有一篇《明末的反山人文學》，開篇就說：“山人名士的繁榮，大概都在季世。這時候，一部分知識階級，對時局雖也感到苦悶，但並沒有做撲燈蛾的勇敢，而‘怯弱者’的名義，在表麵上又不願意承當。於是做山人，做名士，便成了這一班人的出路。意思就是說，狂放不羈高逸的山人名士，天生的就是做‘山水主’，而不管‘人間世’的。”
20世紀40年代，《古今》創辦於北平，其中有一些關於山人的文章，但研究水平不高。如蕘公的《談明季山人》，對山人身份的界定十分模糊，將陳眉公、董其昌、袁宏道、李贄均稱為山人，並稱“蓋所謂山人者，多性情狂傲，不近人情，故趣聞亦多”。對山人發生的思想背景的說明甚至錯謬百出，他說：“因明人承宋理學餘緒，本極粗疏，複養成山人習氣。”資料也比較貧乏，蕘公所舉山人如王百穀、錢象先、範長白、陸應陽諸人，顯然源於沈德符的《萬曆野獲編》。