太子晚期，常常為身邊親近的人謀取私利，高允勸阻，太子沒有接受他的意見。太子去世後，太武帝召見高允，高允邊走邊流淚，悲慟不已。太武帝見了也流下眼淚，讓高允退出了。左右的官員沒有人知道其中的緣故，紛紛議論說高允無緣無故地悲傷，讓陛下也跟著流淚，這是為什麼呀。太武帝聽說後就召集他們說：“你們不知道高允很悲傷嗎？”左右大臣搖搖頭，說：“為臣看到高允無言而泣，陛下為之悲傷，所以我們在下麵就悄悄議論開了。”太武帝說：“崔浩被誅殺的時候，高允也應該死的，是東宮苦諫，才免於一死。今天沒有了東宮，高允看見朕想起往事而悲傷啊。”
文成帝即位後，高允出了許多計謀。很多大臣受到皇帝重賞，卻沒有褒獎高允，高允從不在背後發一句怨言，始終對皇上忠心耿耿。給事中郭善明，性格機巧，老想呈顯自己的才能，他勸文成帝建造宮殿。高允勸諫說：“臣聽說太武帝平定天下後才開始興修都邑。他一旦有所修造，不是農閑之季，絕不興工。現在建國已經很久，宮室也已經完備。如果要再修更壯麗的宮室，也應當慢慢地準備，不可急於求成。估計砍材運土以及各種雜役就需兩萬多人。古人言，一夫不耕就有人會挨餓，一婦不織就有人會受凍。何況是數萬之眾無法從事耕織生產，他們所要耗費花銷，實在太多了。往古時推論再來驗證現在，必然有借鑒之效啊，希望皇上認真思考。”文成帝接納了他的意見，他感慨地對群臣說：“君主與父親是一樣的，父親有了錯誤，做兒子的怎能不當麵指出呢？你們啊，應該學學高允，他才是真正的忠臣！朕有了錯誤，他常能正麵直言，即使是朕不愛聽的話，他也敢侃侃而談，絕不避就。你們這些人在朕左右多年，從來聽不到一句正經話，隻順著朕的意思吹捧，趁著朕高興的時候求官乞職。說得不好聽點，你們每天的工作不過是在朕身邊站站而已，如此都能做到王公，而高允呢，他用寫史的筆匡扶國家，才不過是個著作郎，你們難道不覺得自愧嗎？”
有人上書說高允的得失，文成帝就對群臣說，高允的做法沒什麼不對，像高允這樣的人，才是忠臣。有大臣上書，說高允雖然蒙受恩寵，但家裏貧窮得像普通百姓，妻兒都無法生活。這一天，文成帝來到高允家，他幾乎不敢相信眼前的景象，呈在眼前的隻有幾間草屋，布被麻袍，廚房中隻有一點鹽菜。文成帝歎息說：“自古以來清貧之人，莫過於此啊！”立即賜給綿帛五百匹，糧食千斛，並拜高允的長子為官。高允多次上表堅決推辭，文成帝不答應。當初和高允一起授官職的大多已經升至侯爵，就連高允的部下一百多人也都官至刺史，而高允做郎中二十七年沒有升過官。當時百官沒有俸祿，高允家裏窮，高允常讓自己的兒子們上山砍柴，用以自給。高允的為人被當時的人所推崇，文成帝也非常敬重他，通常不直呼他的名字，而尊稱為“令公”。皇帝起了頭，其他人有樣學樣，從此“令公”的名號遠播四方。
太和二年，高允因年老乞求回歸故裏，十多次皇上都沒有允許。高允常對人說：“我任中書時有陰德，曾救濟恩治過百姓性命，如果陽報不差的話，我的壽命在百歲上。” 一次他得了小病，家人忙給他請大夫，皇帝估計他活不多久了，就派人給他送去很多禮物，作為辦喪事用。朝中百官也往來給予慰問，高允喜形於色，對人說：“天恩因我太老，給了這麼多賜品，可以用來待客了。”上表致謝，認為皇帝對他無微不至。
高允為人剛正不阿，敢於直言龍顏，居於廟堂高位，生活卻一貧如洗。高允享壽九十八歲，正所謂“無欲者長存”。