1927年國民革命軍北伐，在運河沿線與孫傳芳的軍隊激戰，界首鄉師遭到嚴重破壞，經費來源斷絕。黃質夫組織師生盡力保護學校，並提出“先生不拿錢，學生帶飯來吃”的口號，堅持繼續上課。在學校極端困難的情況下，他仍然關心民眾的疾苦，履行鄉師為社會服務的宗旨。孫傳芳的軍隊潰退時，大肆搶劫掠奪，許多商店、居民受害。鎮上一家當鋪因建築堅固、財物隱藏得秘密沒有受到損失，可是事後當鋪老板卻與地方豪紳勾結，謊說財物被搶劫一空，陰謀侵吞民眾典質的財物。黃質夫仗義執言，為民請命，組織全校師生遊行示威，並親自到縣政府檢舉告發，要求政府嚴辦。這個舉動震動了高郵全縣及蘇北地區，縣政當局被迫將當事人判刑入獄，所有典戶均贖回財物。界首鄉師師生的正義行動受到民眾的稱讚。
1927年夏，黃質夫調任國立第四中山大學南京中學鄉村師範科主任，它的前身是1923年建立的江蘇省第四師範分校，1932年改為江蘇省棲霞鄉村師範學校，位於南京近郊棲霞山。經過曆年戰火，學校設施損壞嚴重，屋破牆頹，荒草塞途。黃質夫接任不久，孫傳芳軍隊渡江南犯，棲霞成為戰場，居民大都遠避。他不顧危險住在學校裏守護校產，每天與駐軍周旋，與傷員、遺屍為鄰，有一次幾乎被流彈擊中。戰事結束後，他立即著手恢複學校，組織師生參加蓋房、修路、植樹、開辟生產園地。為了節省有限的經費，他帶頭苦幹實幹，到江邊扛運木料，雙肩壓腫了也不休息，與師生一道抬土、運石、拉石滾，修築道路。在改善學校物質條件的同時，他更注重“軟件”建設，選聘優秀教師，改設教學課程，改進教學方法，實行嚴格訓練，探索鄉村教育的新路。
經過幾年慘淡經營，棲霞鄉師麵貌一新。攝山腳下豎起一座座寬敞明亮的校舍，教室、禮堂、自然科學館、農業研究室、理化器械室、圖書館、師生員工宿舍等均初具規模。教師隊伍人才濟濟，如國文導師任中敏（後在多所高校任校，著名詞學家），何棣先（後為貴州大學教授、係主任）、鮑勤士（著名學者）、汪靜之（著名作家），數理化導師高直侯，音樂導師敖克成，教育導師胡宏模、姚虛穀等，都是當時教育界的佼佼者。學校設有實習基地，有農場、林場、各種工場。學生們參加農事、園藝、飼養、建築、縫紉等生產勞動，手腦並用，增長知識和才幹。學校還舉辦各種社會事業，為鄉民提供多方麵服務。如舉辦民眾學校，組織農民讀書識字；舉辦民眾茶社，“提倡正當娛樂，指導休閑生活”；成立農友社，研討、改進農事，提倡植樹栽桑，介紹農業技術，推廣優良品種等；辦起醫院、婦產醫院，免費為鄉民看病。有一年穀賤傷農，鄉民生活發生困難，黃質夫親自到鄉村調查，多次與中國商業儲蓄銀行南京分行接洽，獲得低息貸款一萬餘元，救濟棲霞附近20多個鄉村，幫助鄉民解決生活困難。報載“鄉民歡聲雷動，愛戴莫名。”
棲霞鄉村師範辦得很出色，許多知名人士如梁漱溟、黃炎培、陶行知、馬寅初、郭秉文、陳立夫等，相繼到學校考察、演講，全國各地不少學校和教育機構派人到學校參觀。有的考察報告中說：“該校設備之整潔，工作之緊張，教學之認真，學風之純樸，教職員精神之團結，有非他校可及者。”有人認為“棲霞鄉師在鄉村教育中獨樹一幟。”
在創辦棲霞鄉師過程中，黃質夫幾次與行政當局及當地惡勢力作鬥爭，表現了他剛正不阿的品格。棲霞寺寺僧倚仗國民黨政府高層人士中佛教信徒的勢力，借口清理寺產，將農民辛勤開墾出來的山地據為己有，強迫簽訂主佃契約，繳納田租。貧苦農民無錢無勢，抗爭屢敗。黃質夫同情農民遭遇，主持公道，與寺僧進行說理鬥爭。寺僧遷怒於黃，誣告棲霞鄉師挖墳毀墓，霸占寺廟土地，南京法院將黃傳訊拘留。此事引起教育界公憤，江蘇省中等學校校長聯名發表公告，譴責棲霞寺僧和司法部門的不法行為，京滬等地輿論機構也進行聲援，南京法院不得不宣布黃質夫無罪釋放。陷害不成，行政當局又以棲霞鄉師管教不力為借口，要求校長辭職，並以行政手段將黃調離。黃質夫終於被迫離開棲霞鄉師，但他發表《為南京中學棲霞鄉村師範事告遠近鄉教同誌書》，訴述自己離開“朝斯夕斯，寢斯食斯”的棲師，“非忘情於鄉村教育而去也，亦非不顧事業而去也，乃因環顧現時之是非顛倒，黑白混淆，不得已而去職也”，“身體雖去，而精神上終不能忘也”。他對棲霞鄉師確實是念茲在茲，不能忘懷的，離開後僅於1931年8月到浙江省湘湖鄉師主持了幾個月的校務，又在1932年初回到棲師繼續擔任校長，直到抗日戰爭爆發，日軍向南京侵犯的前七天才離開學校，踏上流亡的道路。