範忠宣公奏疏，乞將呂大防等引赦原放忤大臣章囗範職知隨州，公草疏時，或以觸怒為解，萬一遠謫，非高年所宜。公曰：“我世受國恩，事至於此，無一人為上言者。若上心遂回，所係非小；設有不從，果得罪，死複何憾！”命家人促裝，以俟謫命。公在隨幾一年，素苦目疾，忽全失其明，上表乞致仕。囗戒堂吏，不得上，遂貶公武安軍節度副使，永州安置。命下，公怡然就道。人或謂公為近名，公聞而歎曰：“七十之年，兩目俱喪，萬裏之行，豈其欲哉！但區區愛君之心，不能自已。人若避好名之嫌，則無為善之路矣。”每諸子怨章囗公，必怒止之。江行，赴貶所，舟覆，扶公出，衣盡濕，顧諸子曰：“此豈章囗為之哉！”至永州，公之諸子聞韓少卿維請均州，其子告囗以少卿執政日與司馬公議論多不合，得免行，欲以公與司馬公議役法不同為言求歸，白公，公曰：“吾用君實薦，以至宰相，同朝論事，不合即可，汝輩以為今日之言，不可也。有愧而生者，不若無愧而死。”諸子遂止。公安置永州，課兒孫誦書，躬親教督，常至夜分。在永三年，怡然自得。或加以橫逆，人莫能堪，而公不為動，亦未嚐含怒於後也。每對賓客，惟論聖賢，修身行己，餘及醫藥方書，他事一語不出口，而氣貌益康寧，如在中州時。
司馬溫公事神宗時，王安禮為右丞。一日，宰執同對，有無人才之歎。左丞蒲宗孟對曰：“人才半為司馬光以邪說壞之。”上不語，正視宗孟久之，宗孟懼甚，無以為容。上複曰：“蒲宗孟乃不取司馬光耶？司馬光未論別事，隻辭樞密一節，朕自即位以來，惟見此一人。他人則雖迫之使去，亦不肯矣。”
劉安世元城，初除諫官，未敢拜命，入與娘子謀曰：“朝廷不以安世不肖，誤除諫官。這個官職不比閑慢差遣，須與他朝廷理會，事有所觸犯，禍出不測。朝廷方以孝治天下，如以老母懇辭，必無不可。”娘子曰：“不然。諫官是天子爭臣，我見你爺要做不能得，你是何人，蒙朝廷有此除授。你果能補報朝廷，假使得罪，我不選甚處，隨你去。但做。”公遂備禮辭免，尋便供職。三日，朝廷有大除拜，公便上二十四章，又論章囗十九章。及得罪，囗必欲見殺。春、循、梅、新、高、竇、雷、化八州惡地，安世曆遍七州，又遭先妣喪禍，與兒子輩扶獲靈柩，盛夏跣足，日行數十裏，腳底都穿，歎曰：“今隻老夫與兒子兩人在耳！”公在朝，章囗於昆山縣強市民田，人口經州縣監司次第陳訴，皆不敢受理，又經戶部，不敢治，禦史台亦不彈劾。公累上疏極論曰：“按囗抱死黨之誌，而濟以陰謀；蘊大奸之才，而輔之殘忍。因緣王安石、惠卿之黨，遂得進用。而造起邊隙，僥幸富貴。在先帝時已坐置田不法，嚐罷執政，蔡確引用，再叨大任。陛下嗣位，擢置上樞，而內懷奸謀，沮毀聖政，以致悖慢帷幄之前，殊無臣子之禮。及以家難，退歸裏閭，而敢憑恃凶豪，劫持州縣，使無辜之民，流離失業。乞特賜竄殛，仍委台臣置院推劾。其昆山、蘇州及本路監司，亦乞並行黜責。”章四上，朝廷令發運司體究，詔贖銅十斤。公複爭之，以為“所責太輕，未厭公議，況囗與蔡確、黃履、邢恕素相交結，天下指為四凶，若不因其自致人言，遂正典刑，異日卻欲竄逐，深恐無名。且幹係官吏，因囗致罪，皆處從坐，囗係首惡之人、乃止贖銅，事理顛錯，亦已太甚。況下狀之日，囗父尚在，而別籍異財，事義顯著。考按律文，罪入十惡。愚民冒犯，猶有常刑，囗為大臣，天下所望，而虧損名教，絕滅義理，止從薄罰，何以示懲。聖人製法，惟務至公，若行於匹夫而廢於公卿，伸於愚民而忽於貴近，此乃姑息之弊，非清朝之所宜行也。”蔡確雖貶，尚與章囗等自謂有定策功，創造語言，恐脅貴近，為中外憂。劉安世複言曰：“臣近嚐進對，論確朋黨，雖粗陳大概，未能盡達天聽，事體至重，不可不憂。臣聞蔡確、章囗、黃履、邢恕四人者，在元豐之末，號為死黨。囗、確執政，倡之於內，履為中丞，與其僚屬，和之於外。恕立其間，往來傳送，天下之事，在其掌握。聖上嗣位，四人者以為有定策之功，眩惑中外。若不早為辨正，恐異日必為朝廷之患。臣聞元豐七年秋宴之日，今上皇帝出見群臣，都下喧傳，以為盛事。明年神宗皇帝晏駕，眾謂前日之出，已示與子之意，其事一也。自先帝違豫，嘉、政二王日詣寢殿候問起居，及疾勢稍增，太皇太後即時麵諭，並令還宮，非遇宣召，不得輒入，有以見聖心無私，保佑慎重，其事二也。建儲之際，大臣未嚐啟沃，而太皇太後內出皇帝，為神考祈福，手書佛經，宣示執政，稱美仁孝，發於天性，遂令下詔誕告外庭，蓋事已先定，不假外助，其事三也。陛下聽政之初，首建親賢之宅，才告畢工，二王即遷就外第，天下之人，莫不服陛下之聖明，深得遠嫌之理，其事四也。此實太皇太後聖慮深遠，為宗廟社稷無窮之計，彼四人者，乃敢貪天之功，以為己力。伏望明詔執政及當時受遺之臣，同以親見策立今上事跡，作為金滕之書，藏之禁中，又以其事本末，著實錄，然後明正四凶之罪，布告天下。除蔡確近已貶竄外，所有章囗、黃履、邢恕，欲乞並行逐之遠方，終身不齒，所貴奸豪屏息，它日無患。”由是三人皆得罪。劉元城遭貶，章囗、蔡卞用事，欲殺公者甚至，凡甲令所載，稱遠惡州軍，無所不至，雖盛夏，令所在州軍監督，日行一台，或泛海往來貶所。人謂公必死，然七年間未嚐一日病，年幾八十，堅悍不衰。公貶梅州，忽有所厚士類數輩至，輒相向垂淚。公曰：“豈非安世有後命乎？”客曰：“屬聞朝廷遣使入郡，將不利於公，願公自裁無辱。”時公貶所有土豪緣進納以入仕者，因持厚資入京師，求見囗，直以能殺公意達之。不數日，薦上殿，自選人改秩，除本路轉運判官。其人飛馭往驅，至公貶所，郡將遣其客來勸公治後事，滋泣以言。公色不動，留客飲酒，談笑自若，對客取筆，書數紙，徐呼其仆曰：“聞朝廷賜我死，即死，依此行之。”謂客曰：“死不難矣。”客從其仆取紙閱之，則皆經紀其家與同貶當死者之家事，甚悉。客驚，以為不及。俄報運使距郡城三十裏而止，翌日當至。家人聞之，亦號泣不食，不能寐，且治公後事。而公起居飲食如平昔，曾無少異。至夜半，伺公酣寢，鼻息如雷，忽聞鍾動上下，驚曰：“鍾聲何太早也！”黎明問之，鳴鍾者乃運判公，一夕嘔血而斃矣。明日有客唁公，公亦無喜色。