太宗對耶律楚材的寬宏大量十分賞識，對眾臣說：“耶律楚材不記私仇，你們應當效法。”
伐金是蒙古君臣夢寐以求的大業。蒙古人根據舊製，攻城掠地時，矢石一發，抗拒者即抗命，破城時屠城。耶律楚材認為濫殺無辜會失去民心。
1231年，蒙古軍隊攻下河南大部分地區。耶律楚材請求不要屠殺百姓，這樣可以增加國家收入。太宗準奏。
1232年春，蒙古軍隊撲向金都汴京，太宗親自率軍南征。將渡黃河時，太宗詔令兩岸百姓，降者免死，並派大將速不台攻打汴京。
1233年正月，速不台奏請太宗：“我軍將士傷亡慘重，等破城時，應斬草除根。”耶律楚材連忙騎馬趕來勸諫：“將士征戰數十年，要得者隻是土地、百姓。得到土地而無百姓，又有什麼用！”
太宗猶豫不決。耶律楚材說：“奇巧工匠、天下人才均集中在汴京。一旦殺絕，大汗隻能得到一座空城。”太宗心動了，馬上準其所奏，下令隻把完顏氏殺光。從此，蒙古國廢除了屠城之法。
四月，蒙軍攻下汴京。城內一百四十七萬人保住了性命。
1234年正月，蒙、宋合兵攻進蔡州，金哀宗完顏守緒自殺，金國滅亡。
太宗下禁令：凡逃亡之民及收留者，滅其全家。結果，逃者在沿途不敢留宿，造成餓殍遍野的悲劇。耶律楚材勸道：“河南百姓也是大汗的子民，為何連坐無辜？”太宗撤銷此令。
一天下午，元良來到耶律楚材住的帳篷。他是金國大文豪元好問的家人，長途跋涉數千裏，給耶律楚材送來曆史上著名的元好問《上耶律中書書》。
耶律楚材激動不已。元好問在信中向他力薦了幾十位金國的儒家名士。元好問又提醒他：辦學館，講孔孟之道，由禮樂入手，改變蒙古人的觀念，才能重整朝綱。元好問還向耶律楚材提供一份五十四人的名單，使一批人才保存下來。
蒙古大軍得到了孔子五十一世孫孔元措，耶律楚材立即奏請元太宗批準，派人建孔廟、建林苑。元太宗封孔元措為“衍聖公”，賜林苑、孔廟附近的土地及役使的人。耶律楚材給眾儒生妥善安排生活及官職。另外，耶律楚材在燕京等地設置編修所、經籍所。
1236年，蒙軍攻陷德漢府等地後，得到名儒趙複，擄之北上燕京，聚徒講授儒家經典。
1237年，耶律楚材製定了科舉辦法，分為經義、詞賦、論三科。規定：儒者被俘為奴者，皆釋放；若有家主隱匿不放，嚴加懲處。這一年蒙古國新得士子四千多人。
1238年，楊惟中從蜀、漢等地搜集周、程、張、朱等書，回到燕京，創辦太極書院，修建周子祠，聘請趙複為師，講授理學。