幾乎每一個僧人正式出家之前，都要先在寺院裏做一段時間的行者幹雜務的帶發修行人。行者，處在被考察、被考驗的時期，能通過者可以得到剃度，否則便被淘汰。也正是因為如此，行者的所謂修行，就是修苦行幹的是最繁重的雜務，卻沒有任何地位，甚至受了委屈也隻能放在心裏。
慧能盧行者，在東山寺，就處在這樣的位置。
因為當初五祖弘忍大師說過，讓慧能打雜，所以，剛開始知事僧就讓慧能專門打雜哪裏需要哪裏去，什麼活計缺人手就幹什麼。後來有一天，碓房裏一位負責舂米的身強力壯的行者被客堂調去看護山林了，慧能就被點名頂了他的缺。
當時，東山寺有七八百名僧人，每日早粥、午飯，要吃近千斤稻穀。而將稻穀變成白米，全靠碓房裏的三名行者。
踏碓舂米，沒有任何技巧，全憑渾身的力氣。因此，碓房裏的行者個個都是人高馬大，膀粗腰圓，體重超過二百斤的壯漢。而慧能，身高不滿五尺，體重不足百斤。別人踏碓，單憑體重就能將沉重的碓錘壓起來，而他，必須用盡全力猛然向下蹬去，才能將碓錘抬起來。因此，他每踏一下，要比別人多費一倍的力氣；於是他每天起早貪黑，也很難完成定額任務。禪宗寺院，規矩森嚴，於是，慧能天天被知事僧處罰：在佛像前跪香跪一支香燃盡的時間。
一支香，大約一個時辰才能燃盡。本來已經勞累了一整天的慧能，跪得腰酸腿疼，膝蓋紅腫，腳髁麻脹……漸漸地，他的下半身失去了知覺，不知不覺打了個盹兒，身體失去了平衡，一頭栽到了地上……
知事僧在他屁股上狠狠踢了一腳，嗬責道：“你在佛前懺悔罪過，竟然還敢打盹睡覺！像你這種對佛祖大不敬的人，還要出什麼家、修什麼行？我看你還是趁早滾下山去，過你的世俗日子吧！”
慧能慚愧萬分，左右開弓，狠狠抽了自己幾個嘴巴。一則懲罰自己，二來驅走瞌睡蟲。
慧能開了竅的心，靈動空明，慧光湛然，他很快便找到了問題的症結自己的體重太輕，不足以將碓錘壓下來，所以效率非常低下。他的身子骨天生瘦小，無法增加自己的體重，於是，他從山上找來一塊長一尺二、寬一尺、厚三寸，重達56斤的大石頭，捆綁在自己腰間，以增加重量……
而今，這塊石頭仍然保存在黃梅五祖寺（後人為紀念五祖弘忍，將東山寺改名“五祖寺”），中間鐫刻五個隸書大字：“六祖墜腰石”，左邊刻有“龍朔元年”，右側後代僧人題詩曰：
塊石繩穿祖跡留，曹溪血汗此中收。應知一片東山月，長照支那四百州。
慧能為法忘軀，不避艱苦，由此可見一斑。一日，客堂有位招客來通知，說中嶽嵩山老安禪師將回山禮祖，要求碓房專門加工上好的白米，中午老安禪師要以此供養大眾。聽說老安禪師要來，全寺上下都很興奮。要說這位老安禪師，那可是一位傳奇人物。他住持於嵩嶽，法號慧安，因他年高德昭，世人稱他“老安”。他童年出家，年紀輕輕，就天下聞名。當時，隋煬帝為開鑿大運河，大肆征招勞役，田園荒蕪，饑民如蝗。慧安四處化緣，救濟流民，無數性命獲救。隋煬帝慕名請他入宮給自己當老師，他理也不理，潛入太和山隱姓埋名數十年。唐朝建立，皇帝也曾派遣使臣前來迎請他做國師，他老人家連夜逃到了嵩山。他比五祖弘忍大師年長整整20歲，而且名氣也比弘忍大師大得多。然而，他卻不管不顧，五體投地跪倒在弘忍大師麵前，拜他為師。這不，眼下他已經是年近九旬的耄耋老人了，仍念念不忘比自己年輕幾十歲的師父，還跋涉千裏，回來拜山……
這樣一位活菩薩的供齋用米，知事僧不敢怠慢，專門叮囑慧能要格外精心。慧能本來就心細如發，現在更是認真挑揀，連一個帶有些許稻糠的米粒都不放過。
然而，鬼知道是怎麼回事。當天中午，當米飯盛到眾僧的瓦缽裏的時候，人們赫然發現，其中混雜著許多帶殼的稻子！這樣的米飯，如何下咽？僧眾中有一位叫惠明的法師。他出家前是陳宣帝之孫，曾任南朝高官。出身帝王之家，飲食自然十分講究，他想都沒想，便將飯裏未脫殼的稻米揀了出來，放在了餐桌上。知客影隱看到後，當眾大聲嗬責他：“撿起來，吃下去！”惠明爭辯說：“這些帶殼的米，很難咽下去。”他話音未落，影隱手中的香板已經閃電般落了下來，打得他的光頭“砰砰”作響！影隱對所有人說道：“佛門一粒米，大如須彌山。隨便浪費者，表堂打香板。請大家好自為之。”眾僧見惠明丟人現眼，還被狠狠打了一頓，所以隻好忍氣吞聲，將那些帶殼的稻米囫圇吞下……好好一頓午齋，吃得大家滿腔怒火，滿腹悶氣，滿心委屈。飯後，十幾個怒火中燒的僧人，簇擁著憤怒至極的惠明來到了碓房，找慧能算賬。慧能有口難辯，隻好乖乖等待懲罰。知事僧按照寺規，將慧能當作“慢眾”處置打三十香板。