胡元倓對黃興說：流血革命險易，磨血革命穩而難，公倡革命，乃流血事業，我辦教育，是磨血之人。
胡元倓因四處籌款辦學，被人稱為“南武訓”。熊希齡對此感慨道：胡九真難對付。常來募捐，不給則坐臥不去；而請其做官，則又堅決不就。
毛澤東說：光緒末年的明德學堂，在省城學生界頗富時譽……時務雖倒，而明德方興。
我是伺候學生的
武訓是山東人，是個文盲乞丐，因為把乞來的錢給窮人辦了免費的學堂，事跡傳到朝廷，被賞穿黃馬褂，還被賜了名——他原來沒名字，因在家中排行第七，別人就叫他“武七”——“武訓”這個名字是朝廷賜給他的，武訓由此聲名大振。湘潭人胡元倓比武訓小34歲，因為他為辦學四處籌款募捐，和武訓有相同之處，因而有人稱他為“南武訓”。但事實上，“南武訓”和武訓相比，還是很不同的。
胡元倓一直認為革命是打亂了再做，而再做的任務由教育來完成。他多次對明德中學的學生演講說：“克強先生在日，我對他說：‘流血革命險易，磨血革命穩而難，公倡革命，乃流血事業，我辦教育，是磨血之人。’”什麼是磨血，胡元倓的學生這麼解釋：磨血，看不見血，費的心血是慢而長，一點一滴地在血液中磨練人的意誌。
時務既倒，明德方興
胡元倓出生於書香門第，祖父和父親，都在廣東做過知縣。他兄弟很多，長兄元儀，郭嵩燾的弟子。六兄元玉，既是湘綺老人王闓運的門生，也是其女婿。如此父兄，如此親戚，在家排行第九的胡元倓受益匪淺。1897年，在兩位兄長元儀和元直被選為湘潭拔貢13年後，胡元倓被選為丁酉科拔貢，這一年，他25歲。拔貢是有做官的資格的，憑胡家的關係，找個七品之類的芝麻官做，是不成問題的。但他沒有選擇去做官，而是選擇了留學。
胡元倓出生前後，正是我國大變動、仁人誌士求救國的時代。在他出生前十年（1862年），清廷設立同文館，是“新教育”的開始。他誕生的那年（1872年），曾國藩、李鴻章奏準選派幼童詹天佑等三十人赴美，是“留學教育”的開始。且自甲午中日戰爭、戊戌變法、庚子八國聯軍等一連串的政治、軍事失敗後，有誌青年，熱血沸騰，清廷也不得不廢科舉，興學校，增派青年學生出國遊學。
小環境（家庭）和大環境（國家）的雙重影響，讓青年胡元倓有了去外國留學尋求救國真理的強烈願望。1902年3月，湖南選派公費遊日學生十人，胡元倓很順利地入選。他在沿江東下時，順道至江蘇泰興，拜訪他富有新思想的表兄龍璋（時任泰興知縣）。龍璋此時正準備選派學生丁文江等兩人東渡日本留學，見表弟來了，便將自己選派的兩個學生托付給表弟。胡元倓辭別表兄後和丁文江等一同東渡。
到達東京後，胡元倓入了宏文學院習速成師範。半年的學習和參觀，胡元倓認識到日本明治維新的成功在於教育的普及。日本維新派領袖福澤諭吉創辦慶應義塾以儲才建國一事，讓胡元倓感觸頗深，並因此以教育救國，培養人才，複興民族為己任。時不我待，31歲的胡元倓想到做到，立刻啟程回國。回國後，便急不可待地將自己在日本所見所聞所想一股腦兒全都說給表兄龍璋，要求表兄龍璋和自己一起創辦學校。
1903年3月29日，在刑部侍郎龍湛霖（龍璋的叔父）父子、龍璋、趙啟霖等人的幫助和支持下，胡元倓租用左文襄（左宗棠）祠為校舍，明德學堂正式掛牌招生，首期招中學甲乙兩班。