延祐四年（1317年），歐陽玄改任武岡縣尹。武岡境內有個很出名的地方叫溪洞，此處蠻僚雜居，這些異族混雜在一起居住本來就容易發生矛盾，縣衙在處理他們之間的矛盾糾紛時稍有不慎，他們就會拿起武器互相殘殺。歐陽玄到任後不久，武岡縣內的赤水、太清兩洞的異族居民就開始聚眾相互殘殺，縣衙的官吏們看到這種殘忍的情形，大驚失色，可又怎麼也想不出應對的辦法。得知此事後，第二天一大早，歐陽玄僅帶了兩名隨從，便策馬來到了這蠻僚異族人互相爭鬥的地方。他看到，道路中間及兩側躺著被打傷和打死的蠻僚，即使到了這種地步，他們之間的打殺仍然沒有停止。歐陽玄下馬，開始對他們進行勸架。蠻僚們知道歐陽玄的威望，紛紛扔掉兵器，排起長隊跪到他的馬前，並且七嘴八舌地說：“我們不是不懼怕法律，我們在這裏打鬥，是因為我們向縣衙投訴我們的問題，縣衙判決不公正，還用徭役橫征暴斂搜刮我們，我們在感情上無法忍受，在物質上又承受不了，隻好用這種殘忍的方法解決問題了，沒想到我們的這種野蠻的行為驚動了青天大老爺您，讓您親自來過問我們的事情啦。”歐陽玄迅速地把緊張的心情平靜下來，告訴他們這樣做的危害，並答應回去後會公正地為他們審理官司。於是，這些蠻僚被安撫下來了。不久，歐陽玄果然對蠻僚們發生的衝突的由來進行了深入的調查，對他們的案子進行了公正的判決，進一步贏得了他們的諒解和支持。
歐陽玄在地方任職的顯著政績引起了朝廷的重視，泰定四年（1327年），他奉調進大都北京，出任僉太常禮院院事，官至翰林直學士。負責編修四朝實錄：《泰定帝實錄》《明宗實錄》《文宗實錄》和《寧宗實錄》，在編撰這些重要書籍的過程中，他的敬業精神和一絲不苟的作風受到朝野的廣泛好評。不久，他又兼任國子祭酒一職，仍然兢兢業業地做好諸多繁雜的工作。由於歐陽玄工作勤勉且富有成效，朝廷又召他入人中都參議國事，升任侍講學士。
元統元年（1333年），皇帝下詔，任命歐陽玄為國子博士，升任國子監丞。至元元年，改任翰林待製，兼任國史院編修官。這時，戰亂爆發了，皇帝下詔，任命歐陽玄領印代理國史院事務，要求他每天在內廷值班，參與重大機要事務的決策，包括前方重要作戰將領的配備、遠近軍隊的武器調撥和補充、糧草發運等等；他還負責製詔及撰寫重要的機要文書。
不久，元朝改年號為天曆，歐陽玄在朝內更忙碌了：不管是祭天地祖宗，還是冊封皇後、立太子、國家實行大赦等等，需要擬訂的文書都由他親自撰寫。他還根據元朝政治的需要，列舉了數十件需要緊急處理的事務，密封後直接上奏，其中的大多數內容獲得皇帝的讚同並得到推行。第二年，朝廷開始設立奎章閣學士院，又在該學士院下設置藝文監，皇帝親自任命歐陽玄為藝文少監，藝文監內部的所有官員的選拔任用，都由歐陽玄直接負責，他主張選擇有名望且清廉的官吏到藝文監來任職。機構健全以後，歐陽玄奉旨編撰《經世大典》，並擢升為太子監，負責檢校書籍之事。
至正五年（1345年），歐陽玄腳部患了風痹，於是，他請求回一趟湖北老家，以便治病、用藥。元順帝非但不答應，還加封他任翰林學士。可是，歐陽玄的腳疾仍然不見好轉，他再次請求回湖北老家治療腳病，元順帝仍然不答應，為了能夠挽留他在大都北京任職，特準免去他行朝賀的禮節，讓他能夠專心致誌地從事史書的編修工作。不久，至正皇帝決定改革朝政，要求凡是國家重要的事務都要在朝廷集中商議，著歐陽玄參與朝廷諸多重大政策和問題的討論。歐陽玄始終堅持這樣的觀點，在其位必謀其政，對於國家的許多重大問題，他都敢於直陳自己的觀點，而且他的許多重要觀點獲得了皇帝的讚同。隨後，朝廷又提出恢複科舉考試之事，朝中阻撓的人非常多，歐陽玄卻積極爭取，使科舉製度得以恢複。這時，經皇帝允許，他得以回湖北老家治病了。