延祐元年，仁宗下詔設科舉取士，歐陽玄參加貢試。第二年，賜予他進士出身，授予嶽州路平江州同知之職。調任太平路蕪湖縣尹。縣中多疑難官司，長期不能判決，歐陽玄考察了這些情況，都公正地進行了判決或平反。豪門大族不遵守法律，虐待他們的漢族奴隸，歐陽玄判決這些奴隸恢複自由。賦稅征調及時，百姓樂意去做自己的工作，政教風化非常盛行，蝗蟲唯獨不入此縣境界。改任武岡縣尹。武岡縣控製著溪洞，此處蠻獠雜居，對他們的撫育愛護稍有不協調，他們就拿起武器造反。歐陽玄到任一個月後，赤水、太清兩洞聚集眾人相互攻殺，官吏們互相對視，臉色大變，想不出解決的計謀。第二天，歐陽玄單人匹馬帶領兩人直接到達獠人爭鬥的地方告諭他們。到達的時候死傷者充斥道路，戰鬥還沒有停止。獠人熟知歐陽玄的名望，扔掉兵器，排著隊拜倒在馬前，說：“我們不是不懼怕法律，因為向縣衙投訴某事，縣官判決不公正，反而用徭役橫征暴斂搜刮我們，感情上無法忍受，就發憤去死。沒想到麻煩我們的清廉長官親自前來。”歐陽玄告訴他們此事的禍福，回去為他們審理官司，獠人於是安撫下來。
召歐陽玄作國子博士，升任國子監丞。致和元年，改任翰林待製，兼任國史院編修官。時值戰亂，歐陽玄領印代理國史院事務，每天在內廷值班，參與決策機要事務，包括遠近的調撥發運，掌管製詔，撰寫文書。不久改年號為天曆，祭天地祖宗。冊封皇後、立太子、大赦等文書，都經他撰寫。又列舉當時政務幾十件，密封起來直奏朝廷，大多數被推行。第二年，開始設置奎章閣學士院，又在院內設置藝文監隸屬它，都選擇清廉、有名望的官吏任職。文宗親自任命歐陽玄為藝文少監，奉旨編撰《經世大典》，升任太監、檢校書籍事。
元統元年，改任僉太常禮儀院事，官拜翰林直學士，編修四朝實錄。不久，兼任國子祭酒，被朝廷召入中都參議國事，升任侍講學士，又兼國子祭酒。後至元五年，腳部息風痹，請求回到南方以便於治病、用藥，順帝不答應。授予翰林學士，不久，懇求辭去官職，順帝又不答應，免去他行朝賀的禮節。改年號至正，改革朝政，凡不利的事情都在朝廷集中商議，歐陽玄盡言沒有隱諱。科目複設，阻撓者非常多。他仍然竭力爭取。不久，回到南方，又被提拔為翰林學士，因病未赴任。
順帝下詔修遼、金、宋三史，召歐陽玄為總裁官，發凡舉例，使撰述者有所依據；史官中有憤怒地表露才華、議論不公正的人，歐陽玄不用口舌與他們爭論，待他們交上稿件，用筆修改審定，都算作他們自己改正的。至於論、讚、表、奏，都由歐陽玄執筆。五年，順帝因歐陽玄在幾朝做官，並且有編修三史的功勞，命令丞相破格授予他爵位和俸祿，於是準備拜他為翰林學士承旨。等到奏請順帝，順帝再三稱讚。不久，歐陽玄請求退休，順帝又不同意。禦史台上奏拜他為福建廉訪使，走到浙西，病又發作。於是奏上退休的請求，作南山隱居，悠閑自得於山水之間，有在此了卻餘生的願望。又被任命為翰林學士承旨，他多次堅決辭謝，未得批準。奉順帝詔書製定國家法規，不久請求退休，陳述情況懇切，於是特別授予他以湖廣行中書省右丞的職位退休，賜他白玉束帶，給他俸賜養老。將要走時，順帝又下詔不許他走，仍拜為以前的翰林學士承旨，進升為光祿大夫。
十四年，汝潁強盜興起，蔓延南北，州縣中幾乎沒有完整的城池。歐陽玄呈獻招捕的措施千餘字，確實可行，當時不能采用。十七年春，請求退休，由於中原道路阻塞，打算經四川回鄉，順帝又不答應。當時將要大赦天下，宣他到內府。歐陽玄長期臥病，不能行走，丞相傳旨，準他乘轎子到延春閣下，實際是順帝給臣子的特殊優待。這年十二月戊戌日(二十九日)，去世於崇教裏的寓內，時年85歲。中書通知順帝，順帝賞賜辦理喪事的財物很豐厚，贈他崇仁昭德推忠守正功臣、大司徒、柱國的稱號，追封他為楚國公，贈諡號為文。
歐陽玄生性儀度大方，內含弘大縝密，對待自己節儉不奢華，為政清廉公正，做官40多年，將近四分之三的時間在朝廷。三次做成均，兩次做祭酒，六次進入翰林，三次任承旨。編撰實錄、《經世大典》、三史，都是大著作。多次做主考官，兩次主持貢舉和讀卷官，凡宗廟朝廷重要文書冊文，傳達全國各地的製詔，大多出於歐陽玄之手。賞賜的金帛、絲綢、好酒，幾乎每年都有。海內名山大川，寺院、道觀，王公貴人墓道的碑銘，以得到歐陽玄的文辭為榮耀。支言片語，流傳到民間，人們都知道它的珍貴。歐陽玄的文章和道德，以高超揚名於天下。在表率斯文，輔衛治國方麵，都有功勞。歐陽玄有《圭齋文集》若幹卷流傳於世。