1077年，海亞姆在伊斯法罕撰寫了一部新書，書名就叫《辯明歐幾裏得幾何公理中的難點》，他試圖用前四條公設推出第五公設。海亞姆考察了四邊形ABCD，如圖所示，假設角A和角B均為直角，線段CA和DB長度相等。海亞姆意識到，要推出第五公設，隻需證明角C和角D均為直角。為此，他先後假設這兩個角為鈍角、銳角和直角，前兩種情況均導出矛盾。有意思的是，這種處理問題的方式與19世紀才誕生的非歐幾何學有著密切的聯係。事實上，假設前兩種情況為真，就可以直接導出非歐幾何學，後者是現代數學最重要的發現之一。
遺憾的是，海亞姆並沒有意識到這一點，他的論證注定也是有缺陷的。他所證明的是，平行公設可以用下述假設來替換:如果兩條直線越來越接近，那麼它們必定在這個方向上相交。值得一提的是，非歐幾何學發明人之一的俄國人羅巴切夫斯基也生活在遠離西方文明的喀山。喀山是少數民族聚集的韃靼自治共和國的首府，與伊斯法罕同處於東經50度附近，隻不過喀山在裏海的北麵，而伊斯法罕在裏海的南麵。盡管海亞姆沒有能夠證明平行公設，但他的方法通過納西爾丁的著作影響了後來的西方數學家，其中包括17世紀的英國人、牛頓的直接前輩--沃利斯。
除了數學研究以外，海亞姆在伊斯法罕還領導一批天文學家編製了天文表，並以庇護人的名字命名之，即《馬利克沙天文表》，現在隻有一小部分流傳下來，其中包括黃道坐標表和一百顆最亮的星辰。比製作天文表更重要的是曆法改革，自公元前1世紀以來，波斯人便使用瑣羅亞斯德教(創立於公元前7世紀)的陽曆，將一年分成12月365天。阿拉伯人征服以後，被迫改用回曆，即和中國的陰曆一樣:大月30天，小月29天，全年354天。不同的是，陰曆有閏月，因而與寒暑保持一致;而回曆主要為宗教服務，每30年才加11個閏日，對農業極為不利，盛夏有時在6月，有時在1月。
馬克利沙執政時，波斯人已經重新啟用陽曆，他在伊斯法罕設立天文台，並要求進行曆法改革。海亞姆提出，在平年365天的基礎上，33年閏8日。如此一來，一年就成了365又8/33天，與實際的回歸年(地球繞太陽自轉一圈所用時間)誤差不到20秒，即每4460天才相差一天，比國際上現行普遍使用的公曆(又稱格裏曆，400年閏97日，1582年由羅馬教皇格裏高利頒布，但非天主教國家如英、美、俄、中等國遲至到18、19甚或20世紀才開始實行)還要精確，後者每3333年相差一天。特別值得注意的是，如果把回歸年的小數部分按數學的連分數展開，其漸近分數分別為
1/4，7/29，8/33，31/128，132/545，……
第一個分數1/4相當於四年閏一日，對應於古羅馬獨裁者凱撒頒布的儒略年，每128年就有一天誤差。海亞姆的曆法對應的是第三個分數，即8/33。由此可見，海亞姆製訂的曆法包含了最精確的數學內涵，如果限定周期少於128年，則33年閏8日是最好可能的選擇。他以1079年3月16日為起點，取名“馬利克紀年”，可惜隨著庇護人的去世，曆法工作半途夭折了，而那個時候世界各國使用的陽曆誤差已多達十幾天了。海亞姆感到無奈，他在一首四行詩中發出了這樣的歎息(《魯拜集》第57首)，
啊，人們說我的推算高明
糾正了時間，把年份算準
可誰知道那隻是從舊曆中消去
未卜的明天和已逝的昨日