徽州民居的圍牆一般很高。因為男人大都在外經商，留在古徽州生活得一般隻有女人跟孩子。所以此牆便起著防盜和對女性禁錮的作用。在古徽州滿眼望去，都是高大的馬頭牆灰黑的魚鱗瓦，苔痕斑駁的青石板，配上跟遠處蒼翠的青山綠，淙淙流過的新安江，時時刻刻給人一種強烈的富含韻律的古典美感。
但牆單純的高，則給人很陰沉壓抑的感覺，尤其是古徽州民居所采用的白牆灰瓦更加給人有一種透不過氣的感覺。為了減少壓抑感，很多民居都在圍牆上又常用黟青石雙而鏤空雕刻著兩扇窗，圖案往往是喜鵲登梅，喻寒盡春來的喜訊，既是在家妻子兒女的向往，又是對在外家人的祝福。
因為男人都出去了，以致留守在家的徽娘們日子大多過的寂寞清苦。所以如果兩家相鄰，則很喜歡合用一扇便門，以利於在家的兩家女子在閑時互相串門聊天解悶，或有什麼急事時好相互幫忙。此門開的是圓門，告誡兩家相處要和和氣氣。門麵既然叫“麵”，就如人之臉麵一般重要，它是這家人身份修養的首要印象。
普通百姓隻在門上麵小屋簷處雕刻上精心一點。在古徽州流傳著這樣一句話：“幾百年人家無非積善。”牆高，山區空間的逼仄，蓋大簷必然為整體格局和地理條件所不允許，單看這小簷的用意，無疑是“積善”意識的延伸和格局調劑。
而官宦人家則可能利用其勢力和地基的相對優裕，將門而修成朝外開的八字狀，因為“門八字朝南開”。門枕則修成石鼓狀，擊鼓升堂也（並不是衙門才有鼓，官宦人家的府宅也會樹立石鼓）。
當然，也有人這樣開門——在西遞（今天黃山市黟縣）正街建於清康熙三十年的“大夫第”，臨街彩樓正處於街角，門就在其下，主人想到街角人來人往，擔擔挎籃什麼的行走十分不便，於是便把門朝後凹進去一塊，把牆角一人高以下砌成圓角，主人在門楣上這樣寫著：“作退一步想”，就是退一步海闊天空的意思。而圓角呢，意即做人處處都要與人方便，可又不能毫無“原則”。於是大門一人高以上部分便仍成直角，而門下麵卻是圓角，時時刻刻提醒主人做人要圓滑而不失方正。
官宅大門後有三扇門，中門是紅白喜事或來了尊貴客人才打開的；左右兩門，左文右武，仿宮廷樣式。現在安徽黃山市歙縣棠樾的鮑家花園，就是典型的官宦私宅樣式，為清乾隆、嘉慶年間著名徽商、鹽法道員鮑啟運所建，與當時蘇州拙政園、無錫蠡園並稱“江南三大私家名園”。
對於大門商家可就有講究了，那時，商人社會地位不高，為了自尊，他們將門上橫梁做成倒過來的元寶狀,像現在過年將福倒過來貼之意，但他們決不隻是要這口彩，因為他們有的是錢,而這樣一來，整個門就成了個缺“口”的商字了。不論你是什麼人,隻要你來到我門下，從我這門下過,商字就成了登堂入室的必然之道，而且你還成了商字一個部件,成了我這商字的一張“口”,很有自得其樂的意境。
提到徽州建築，就不得不提一樣東西，那就是牌坊。牌坊這東西到處都有，但從沒有一個地方可以像徽州牌坊這麼多，這麼普遍，這麼執著，甚至可以說這麼變態。據說在清代，僅徽州一個縣的牌坊數量，便可以超過全國其他地方牌坊的總數。
徽州牌坊最最出名的地方，也是棠樾，同樣屬於鮑家的棠樾牌坊群，按照忠孝節義的順序排列，分別是鮑燦孝行坊——慈孝裏坊——鮑文齡妻汪氏節孝坊——驄步亭——樂善好施坊——鮑文淵繼妻吳氏節孝坊——鮑逢昌孝子坊——鮑象賢尚書坊。每一個牌坊都有一個故事，而每一個貞節牌坊，又都是一部女性的血淚史。
在徽商特有的時代，對留守女人的壓迫跟限製，都被一座座牌坊上所記錄下來……