他到處出賣自己的勞力，苦活累活搶著幹，過著牛馬式的生活，目的就是為攢錢辦學。牲口做的苦力活，武訓不以為苦，還快樂地唱道：
出糞，鋤草，拉砘子來找，管黑不管了，不論錢多少。
給我錢，我砘田，修個義學不費難。
又當騾子又當牛，修個義學不犯愁。
誰知，善良的武訓再遭欺騙。一年後，武訓辛苦積存的一點錢，都被他的姐夫騙去了。武訓為此氣得水米不進，傷透心了。幾天後，他又緩過氣來，瀟灑地唱道：隻見好人蓋高樓，沒有惡霸行到頭。
一些人嘲笑他害了“義學症”，他坦然唱歌回答：“義學症，沒火性，見了人，把禮敬，賞了錢，活了命，修個義學萬年不能動。”
要飯時，難免遇到吝嗇不給東西的人，武訓就達觀地唱：“不給俺，俺不怨，自有善人管俺飯。”當遭遇聲色俱厲的謾罵時，他也不生氣，唱歌以對：“大爺大叔別生氣，你幾時不生氣，俺幾時就出去。”
武訓把要來的錢都積攢起來，要來的幹糧，好的完整的賣掉，換成錢攢起來。自己隻吃粗劣、發黴的食物和菜根、地瓜蒂等，並以小曲來唱出自己的心聲：
吃雜物，能當飯，省錢修個義學院。
吃的好，不算好，修個義學才算好。
那些歲月，武訓不知吃了多少苦。他一天到晚樂此不疲地幹那些別人不肯幹、不屑幹的累活。如推磨、碾米、替人割麥子等。此外，還替人家大清早打掃茅房，出糞曬幹後做肥料。有時也幫人挑水澆園、挑糧食、挑笨重東西等，按照路程遠近和重量計算報酬，收入還算可觀。就這樣日積月累，積攢辦義學所需的資金。
為了賺點錢來辦義學，他有時還像個江湖雜耍藝人一樣到各處的廟會集市上耍把戲，以取賞錢。表演全身倒立“扛大鼎”，以手代腳做“蠍子爬”，翻身跳“打車輪”，趴在地上給孩子做馬騎，還有錐刺身、刀破頭等節目，甚至吃毛蟲蛇蠍、吞石頭瓦礫，等等。如此作踐自己的身體，實在是不容易，一切都是為了興辦義學！他還將自己的辮子剪掉，隻在額角上留一小辮，裝扮成戲裏的小醜模樣，以獲得別人的施舍。
另外，他還為人做媒紅、當郵差、揀收破爛、軋棉花、紡線等。武訓就這樣到處流浪，打工，要飯，漂泊。晚上就睡在人家的磨房、灶屋，或者是破廟裏。每天深夜他還在如豆的燈光下搓撚線繩，績麻纏線。他邊績麻邊唱道：
拾線頭，纏線蛋，一心修個義學院；
纏線蛋，接線頭，修個義學不犯愁。
二十九歲那年，武訓已攢下了一些積蓄，他用這些積蓄買了四十五畝便宜的低窪鹽堿地，並愉快地唱道：
隻要該我義學發，買地不怕買堿沙；堿也退，沙也刮，三年以後無堿沙。
隻要該我義學發，要地不怕要大坑；水也流，土也壅，三年以後平了坑。
武訓三十八歲那年，山東大旱，餓死不少人。武訓用自己的錢買了四十擔高粱賑濟百姓。武訓的哥哥不務正業，常向他借錢，一些親戚朋友也來要求他資助，武訓都拒絕了，正色答之：“不顧親，不顧故，義學我修好幾處。”
鄉裏一對孤寡的婆媳兩人，靠要飯為生，好心的武訓卻慷慨地贈給她們十畝地，還唱道：
這人好，這人好，給她十畝還嫌少。
這人孝，這人孝，給她十畝為養老。
終生未娶，辦起了三座義學
俗語說得好：集腋成裘，聚沙成塔。經過多年的辛勞，武訓終於積少成多，存了一筆數目可觀的錢。他打聽到本縣（山東堂邑縣）有一位舉人楊樹芳，為人正直，名聲很好，值得信賴，想把錢存放在楊家，於是跑到楊府求見。由於他是乞丐，主人拒而不見，他便在大門口一跪就是兩天，最後終於感動了楊舉人。武訓聲淚俱下地把乞討積錢、興義學之事原原本本敘述一遍，楊樹芳舉人深深為之感動，不但答應幫他存錢，並且表示要助他辦學，助其完成夙願。
光緒十二年（1886年），武訓四十九歲，已置田二百三十畝，積資三千八百餘吊，決定創建義學。光緒十三年（1887年），兩位開明地主仰慕武訓的為人，聯合捐出土地供武訓辦義學之用。武訓開始到各地購買磚瓦木料，並親自押運。開工後，武訓每天早起晚睡，在工地上搬磚打水，和工人們在一起共同勞動。
光緒十四年（1888年），武訓花錢四千餘吊所建的第一所義學在堂邑縣柳林鎮東門外落成了，取名“崇賢義塾”。武訓用了整整三十年的時間來實現他的理想，在這三十年裏，他受盡苦難，但始終堅定地一步步邁向目標。“崇賢義塾”建成後，武訓親自跪請有學問的進士、舉人任教，跪求楊樹芳做學董，主持義塾，跪求貧寒人家送子上學。當年招生五十餘名，分蒙班和經班，不收學費。開學當天，準備了豐盛的筵席招待學董、老師和鄉紳，武訓自己卻在外麵向來賓磕頭致謝，堅決不肯入席，隻在宴會後吃了些殘羹冷炙以充饑。
義塾成立後，武訓實現了心願，但依舊以乞討為生，依舊住在破廟裏麵，學生們集體跪求他來住義塾，他也不肯，說：“我過的生活自己不覺得苦，隻要你們努力學習，我比什麼都快樂。”一天大風，廟屋上的瓦刮下來，落到武訓頭上，砸得他頭破血流，他卻悠然自得地唱著：“打破頭，出出火，修個義學全在我。”
義學創辦人武訓還十分關心義學裏學生的讀書情況，時不時來探視一下，對勤於教事的塾師，武訓常常叩跪感謝；對貪玩、不認真學習的學生，他則是下跪泣勸：“讀書不用功，回家無臉見父兄。”一天清晨，學生都已到齊，塾師卻尚未起床。武訓悄悄地走進塾師的臥房，不聲不響地跪在床前不住地流淚。塾師醒來後，武訓說：“先生睡覺，學生胡鬧，我來跪求，一了百了。”還有一位塾師請假回家，逾期不歸。武訓步行六十華裏趕到塾師家，孤身等候在門外一個通宵。塾師羞愧萬分，再不敢超過期限。師生們感動於武訓的真摯誠懇，沒有一人再有一刻的疏忽怠慢，學風甚好，教學隨之而相長。