李彪不久回到本鄉。孝文帝洛陽向北巡幸到鄴城，李彪穿著平民的服裝自稱“草茅臣”，在鄞城南邊拜迎。孝文帝說：“我當你已死了。”李彪引用《論語》中話說“子(孔子)在，顏回哪裏敢死。”孝文帝高興了，就對李彪說：“我常常以堅貞的鬆樹似的誌節期望你，希望你有不怕歲寒之心，你應當報效國家，盡心為國做事，近來看到彈劾你的奏章，你的行為大大違反了我的期望。你遭受這次譴責，是由於你還是由於我?是由於掌執事情的大臣?還是你自己找的?”李彪說：“臣的錯誤是臣自己的終故，罪由自取，實在不是陛下橫加臣罪名，又不是掌事的大臣無辜冤枉臣。臣的罪行如此，應該竄伏在田畝之中，不應該遠來玷汙車駕的塵土。但臣聽說聖上身體不舒服，這是臣肝腦塗地之際，所以敢來，並不是為了謝罪才來的。’孝文帝說：“我想用你，但因回憶李仆射(李衝)所以不能用。”孝文帝後來采納宋弁的話，又將起用李彪。正好留台的章表送到，說李彪和禦史賈尚過去窮追廢太子元恂的事件時，按理說應有冤枉之處，奏請收捕李彪。李彪自稱冤枉，孝文帝證明他沒有這事，派左右的侍從去安慰他，允許他乘坐牛車，送回洛陽。正好逢大赦免罪。
宣武帝繼位，李彪自動依附王肅，又跟郭祚、崔光、劉芳、甄琛、邢巒等人作詩唱和、書信往來，經常互相稱讚推崇。因此計謀求得恢複舊職，重新從事史官的工作，王肅答應給他想辦法。李彪就上表說：
我們大魏朝擁有中原之地，年歲已逾百年，將近十紀，但史官的記錄，還沒有完備。再加秘書著作機構中衰，記錄功勳之事有缺，美事日益被遺忘，善事月益稀少。所以諺語說：“一天史官不記事，有事就會荒廢。”到了太和十一年時，先帝先太後召集著名儒者和博雅通達的人，來充任史官的人選。當時忽視臣的許多缺點，采納臣的微薄願望，命令臣出納善言，授給臣以秘書丞之職，吩咐臣去做這件事，臣也無法謙讓。高祖皇帝當時下詔給臣說：“端正你的素誌，在筆頭上必須公正，記錄史事而不合法則，後世的人會怎樣看待呢?”臣奉了高祖的詔命從事工作，不敢失誤。
臣私下以為孝文皇帝繼承了天地間的大位，使祖宗的基業得以隆盛，大功尚未完成，忽然地去世了，所有的黎民百姓，好像喪失了天地。幸虧逢上陛下明察聰慧的本性，應上天保和協合萬民的度量，擴大明亮的智慧體察萬物，躬行靜默恭敬來使萬邦和順，天的氣因此而清明，地也樂於平靜，可以說是兩代明聖之君重出，君主明良於上。《記》說：“善於示人行跡的人希望別人繼承他的行為，善於唱歌的人希望別人延續他的聲音。”所以古書說：“文王奠定基礎，周公完成了事業。”然則先皇盛大功業和聖明，現今皇上的純美德行和明察，前代相比，其德行是沒有失誤的。這偉大的時機啊，哪能不光大發揚!先皇的化育萬物，其德合於陰陽二儀；先皇的洞察事理，其明同於日月；先皇的偉大功績，其思慮周密同於四時；先皇的明察與鬼神相符合；是先皇的識見卓越；想使天下統一，是先皇的遠慮；安撫四夷使為天子守疆土，是先王的雄略；使境外安寧齊整，是先皇的威德；禮製效法周代，是先皇的恩義，在泰山設樂祭天，是先皇的仁德；車駕親自征伐漠北，這是先皇的智謀；征伐南方，是先皇的守禮(指孝文帝伐南齊，聞齊明帝死，退兵)；登上泰山，告成於上天這是先皇的恭敬天神；親自祭祀宗廟社稷，是先皇的孝敬祖先神祗；官職無所失誤，是先皇的德行；通天下之誌而能完成其事務，是先皇的正道；考察人間萬事，是先皇的深厚智慧；革去弊端創立新製，是先皇的大誌；孝慈之道廣泛傳播，是先皇的大善。先皇有大功20件，加上他居尊位能謙恭而且光明，做成了大事而不去據為已有，真可以和三皇並列為四而與五帝並列為六了。確實應該把功勞寫在竹帛上，使名聲流傳於金石。
臣私下以為史官中通達的人，大的可以和日月一樣明亮，小的也能和四時那樣豐富，所以能把名聲無窮地傳留下去，把道理明白地告訴後人。所以金石當可磨滅，而人的遺風流韻不會消失，就靠的是史藉。諺語說：“宰相之門出宰相，將軍之門出將軍。”這不僅因為生性，實因積習的教導所致。竊以為掌管天文的官，職為太史的人，如果確實得到了人才，就應讓他世居世官。所以司馬談、司馬遷世代從事史職而功業得立，班彪、班固世代從事史職而得以成名，這是前世已實行過的經驗，後人當借以為鑒。然而前代史官之不能完成其事業的，都是處於衰亂之世，在上者不能容忍善人的緣故。所以張衡離開史職去作賦，蔡邕離開掌史職的東閣去成就自己的誌節。近來東晉時代，有個佐郎叫王隱，被著作虞預所毀謗，被免官在家，白天就打柴供燒火做飯，夜裏就觀看文書作史，這樣寫成《晉書》，記錄了一代之事。當時晉明帝司馬紹隻是命令尚書供給王隱紙筆而已。國家重大的典籍，由私人來完成，衰亂末世的弊病，竟到這地步。這是史官的生不逢時。