狐毛見狀就對重耳說：“公子渡河後就回國了，現在國內有大臣輔佐您，外麵又有秦國大軍的幫助。應該再也用不著我們了，請求主公允許微臣留在秦國。”
重耳大驚，並對著黃河向狐毛他們發誓說：“寡人如果忘了你們的功勞，子孫不得昌盛！”
介子推聽了狐毛的話極其反感。他心裏想道：公子之所以今天能回來，一是天意，二是民心所向。做臣子的，怎麼能以為是自己的功勞呢？而且讓主公和臣下盟誓，這不是要挾嗎？我怎麼還能和這些貪圖富貴的人在一起呢，於是就有了隱退的打算。
回到絳都（今山西翼城），重耳繼位成了國君，這就是大名鼎鼎的晉文公。朝事稍定後，介子推借口有病，就再也不上朝了，在家靠編織草鞋奉養老母親。鄰居張解知道他陪伴晉文公19年，而且還有“割股救君”的壯舉，就勸他繼續入朝做官，不要連累年邁的母親繼續受苦。介子推說：“晉獻公有九個兒子，就數主公最賢能了。惠公他們沒有仁德，所以上天才使主公成了我們的國君。那些大臣們還以為這都是他們的功勞呢，我絕不願意和他們同朝為官，情願過這樣清貧的生活。”
老母親聽了兒子的話就說：“兒子既然決心要做一個清廉的人，我難道就不能做一位清廉的母親？我們母子幹脆就隱居於深山，別再生活在這喧囂的鬧市了！”於是介子推就背著母親來到了綿山（今山西介休附近），在這裏搭建了茅屋，母子過上了近乎原始的刀耕火種的生活。
原來的鄰居張解很為介子推打抱不平，寫了一封信給晉文公，大意是：“一龍矯矯，悲失其所。數蛇從之，周流天下，龍饑乏食，一蛇割股。龍返於淵，安其壤土。數蛇入穴，皆有寧宇。一蛇乏食，號於中野！”文公看罷大驚。回國後百廢待興，自己日夜忙於國務，竟然真把介子推忘了。看到這樣的書信，他立即派人去召介子推，然而早已經是人去房空了。
為了感謝張解提醒自己，晉文公馬上拜張解為下大夫，並讓張解帶路親自到綿山尋訪介子推。君臣在綿山一帶查訪幾天，依然杳無音訊。晉文公說：“難道他就這麼怨恨寡人嗎？我知道他很孝順母親，幹脆我們在山下放火，他一定會背著母親出來的。”
大火連燒了三天三夜，始終也不見介子推的蹤影。原來介子推母子見到起火，母子相抱被燒死在了一棵大柳樹下麵。文公知道後十分傷心，親自把他們母子安葬在了綿山腳下，還專門修建了廟宇，用來祭祀介子推。
放火的那一天，正好是清明節前一天，老百姓為紀念介子推，每年在他遇難的前幾天不生煙火，隻吃提前準備好的冷食。後來就固定在每年的清明前一兩天不生煙火，家家門上還插上柳枝，用來為介子推招魂，並逐漸在全中國形成了寒食節。