當年，歐陽修的妹妹嫁給一個叫張龜正的人，不久就守寡，兩人無子，隻有張龜正前妻生的一個女兒。歐陽修憐憫她們，便把妹妹和沒有血緣關係的外甥女接到家中。
外甥女成人後，嫁給了歐陽修的遠房侄子。
可這個“外甥女”竟與家裏的仆人私通，被發現後，送到官府。不知是屈打成招還是受人唆使，這個外甥女張氏竟說歐陽修和她有不倫之情，還說歐陽修欺占了她們張家的財產。錢明逸為了陷害歐陽修，還用張氏的家財買了田地，寫上歐陽修的名號，羅織罪名，詆毀歐陽修。
歐陽修上表為自己辯白，仁宗皇帝多次做出批示，為歐陽修洗刷惡名，而且親筆給歐陽修寫了手詔，讓他放置家中，以皇帝的信譽保護歐陽修的名節。但這個姓錢的禦史，聯合朝中幾個姓錢的官吏堅決彈劾歐陽修，宋仁宗無奈，隻好免了歐陽修河北西路的官職，降為安徽滁州知州，時年歐陽修三十九歲。
這次緋聞事件，留下了一個千古之謎。
後人有的據此認為歐陽修好色，連外甥女都沾染，也有人認為，這場緋聞純屬小人陷害，功過是非，自有後人評說。
歐陽修貶徙滁州，仕途和精神都遭到巨大打擊。
懷才不遇，醉翁憑借什麼排解精神憤懣？
時來運轉，不惑之年又被委以什麼重任？
風波再起，青雲直上時又因何被貶出門？
歐陽修在河北的這段經曆很不幸，政治上失意，精神上憤懣，所以，經常在真定府飲酒酣醉，賦詩抒懷。這些詩詞，為後人研究當時真定的自然、人文環境保留了珍貴史料，而且從一個側麵反映出這位文壇巨擘和政壇鬥士的內心世界。
歐陽修在寫給密友梅堯臣的《與梅聖俞書》中說：“昨在真定，有詩七八首，今錄去，班門弄斧，可笑可笑。”
其中在《初伏日招王幾道小飲》詩中寫道：“北園數畝官牆下，嗟我官居如傳舍。滹沱北濾馬踏冰，西山病歸花已謝。”真實反映了他心灰意懶的內心境界。他的《過中渡二首》，也充滿傷感和悲情：“得歸還自歎淹留，中渡橋邊柳拂頭。記得來時橋上過，斷冰殘雪滿河流。”
此外，歐陽修作為北宋傑出的文學家、金石家，在真定期間，公務之餘，曾遍訪河北的名勝古跡，搜集大量金石碑文。
他在《集古錄》及其子為之整理的《集古錄目》中，保存了大批河北珍貴金石資料。其中關於真定《龍藏寺碑》的記載，對研究這通在中國書法史上占有重要地位的隋碑，具有重要價值。
歐陽修被貶滁州後，不久又改知揚州、安徽阜陽等地。四十七歲時，奉詔入京，與宋祁一起編修《新唐書》。
五十歲時，他在朝廷和文壇的地位日益提高，以翰林學士的身份主持進士考試，錄取了蘇軾、蘇轍、曾鞏等文化名人。
五十五歲，歐陽修拜樞密副使，後任刑部尚書等職。六十二歲的歐陽修，趕上了王安石變法，因發表異議，被貶河南。六十四歲時，以太子少師的身份致仕退休。晚年歐陽修居住安徽潁州，一年後在家中病逝，諡號“文忠”。因此，後世稱為“歐陽文忠公”，著有《歐陽文忠公文集》。
歐陽修一生才高氣傲，剛直不阿，敢於為民請命，受到後世的敬仰。歐陽修一生為官的地方，都被當地視為重要曆史文化遺產。譬如醉翁亭、揚州的平山堂，都是紀念他的建築。歐陽修在河北的這段經曆，為河北，尤其是真定留下了珍貴的曆史文化遺產。
這正是：
一代文豪文忠公，剛直不阿貶真定。
愛民勤政空壯誌，緋聞毀譽稱醉翁。