吏員人流後，身份地位雖然發生了變化，但被授予的職務都是一些最低級的執事官或散官，人們常常以“冗濁”一詞來形容這類由流外人流的官員；他們中的極少數人縱使工作很有成績，日後混上了高位，人們從骨子裏還是瞧他們不起，社會上對他們的看法仍然很難改變。他們自己也十分自卑，生怕有人打聽本人的出身。如新、舊《唐書》都記載：張玄素在隋朝曾擔任令史一職，唐太宗卻不知道，於是顯得很關心的樣子，當麵問起他的做官經曆。張玄素羞愧不安，難以啟齒，但又不敢拒絕回答。離開後，張玄素連路都走不穩，臉色如死灰一般，整個人都失去了精神。褚遂良知道此事後，毫不客氣地批評了唐太宗，勸誡他不能如此輕慢侮辱朝臣。
說完了“吏”，還需要簡要介紹一下“市”。
隻要對古代尤其是唐朝以前的城市格局有所了解的人就會知道：古代的城邑被劃分為若幹區，政府區、居民區和商業區是嚴格分開的，都用高牆圍著。唐朝初期以前，貨物買賣大都在國家設立的固定市場中進行，市民不能涉足政府辦公場所，官員也不能隨便進入市場，那些達官貴人，對市場更是“鄙而遠之”。於是逛市場的都是平民百姓，在市場裏麵混的，都是一些“市井小人”。士農工商，古代商業地位之低下由此可見一斑。
張衡倒好，退朝後不僅從市場邊經過，而且不顧身份和地位，親自在小攤子上買了塊蒸餅，然後騎在馬上無所顧忌地吃起來，這種不懂禮法、有失身份和風度的行為不是大大有損領導幹部的光輝形象嗎！剛好張衡是吏員出身，禦史發現這一情況後，自然會高度重視並及時向上舉報了。張衡既然不能脫離“市井小人”本色，武則天在批示中說他“是流外的小吏出身，不許升任三品”也就毫不奇怪。在當時那個年代，武則天的思想算是比較開放的，用人也能不拘一格，但對張衡“吃餅事件”的這份批示，還是一不小心就暴露了她內心深處對普通市民的極端蔑視。
所以說，讓張衡倒黴的罪魁禍首，確確實實就是路邊那個餅攤子，張衡丟掉三品官位，也確實與買了這塊蒸餅吃有密切關係。如果這個賣餅的人不把攤子擺到路邊來，而是像其他商販一樣，規規矩矩在集市裏經營，張衡即使路過這裏，也不會被熱氣騰騰的蒸餅所吸引，最後自然就不會犯這種低級錯誤了。如果有人認為張衡在小攤子上買塊餅吃就得到這種嚴肅處理，是當時的禦史權力太大或沒事找事，或者張衡之前大概得罪過彈劾他的這位禦史，因而被打擊報複，那就完全錯了。
值得一提的是，唐朝官員不能親近市場的現狀很快就有了改變。“安史之亂”發生後，唐玄宗逃到鹹陽縣，過了中午，還沒有吃上飯，楊國忠親自到市場上買來幾塊蒸餅，他才沒有繼續餓著肚子趕路（《資治通鑒》卷二百一十八）。另外一個例子或許更能說明問題：中唐時期的宰相劉晏，清早入朝，冷風刺骨，寒氣逼人，就買了幾塊熱餅捧在手中邊取暖邊墊肚子，還讚不絕口說道：“美不可言，美不可言！”（《劉賓客（劉禹錫）嘉話錄》）唐玄宗吃市場上買來的蒸餅雖是無奈之舉。但這兩個例子至少可以說明：唐政府對官員逛市場購買物品並不像以前那樣嚴格禁止或說根本禁止不了。
張衡如果晚出生幾十年，就不會因為買塊蒸餅吃而丟官了。