辭去史職後，劉知幾被任為鳳閣舍人。他先專心致誌地完成了《劉氏家乘》和《劉氏譜考》。不久，他又被任命為著作郎、太子中允率更令，兼修國史，奉命編修《則天大聖皇後實錄》，並與好友吳親一起編修《睿宗實錄》、《中宗實錄》等書。但是在史館中以前遇到過的矛盾依然存在，甚至還更有所發展，使得他實在難以忍受，隻好又辭去史職，專心去寫評論古今史書得失和闡明他自己修史的《史通》。唐中宗景龍四年（710年），《史通》書成。這一年劉知幾正好50歲。
《史通》20卷，分為內外篇，內篇10卷39篇，其中3篇已佚，今存36篇，內容主要闡述史書的類別、源流及編纂體例；外篇10卷13篇，內容主要論述古代史官建置沿革，古今正史發展過程，並雜論古人得失。這是一部史學評論專著，亦是一部早期的中國史學史，對我國古代史學的發展具有重要的貢獻。
劉知幾在《史通》中對我國唐中葉以前的史書作了比全麵係統的總結，區分了史書的類別，；理清了史學發展的源流，並論述了史書的編纂體例。他認為“為史之道，其流有二。”“書事記言，出於當時之簡；勒成刪定，歸於後來之筆。”這就是說，劉知幾把史書分成了兩大類，一類是當時人的記錄，一類是後代人編修的史著。用現在比較流行的說法，前一類是史料，後一類是論述性的史學著作。這兩類史書可以說是相輔而行的，當時如實的記載，便於後人據以正確論定；而後人的史著，如果沒有前人的記載作根據，也就會無所適從。
關於史書體裁，劉知幾從唐以前已有的史書中歸納出有6種，那就是尚書家、春秋家、左傳家、國語家、史記家、漢書家。尚書家是最古的史書體裁，屬記言體。劉知幾認為這種體裁“帝王無紀，公卿缺傳”、“年月失序，爵裏難詳”。也就是說，尚書家這種體裁缺點是看不出帝王和大臣的行事，並且也缺少時間、地點的記載，所以這種史書體裁隻能行於上古三代，很難令後世感到滿意，因此後世很少有人仿效。春秋家也是古老的史書體裁，屬記事體。劉知幾認為這種史書體裁以記事為主，寓褒貶於記事之中，隻有像孔子那樣的大聖人才能做得恰到好處。左傳家是編年體，這種體裁“係日月而為次，列歲時以相續，中國外夷，同年共世，莫不備載其事，形於目前。”是一種較好的史書體裁，所以後世仿效者甚多。國語家是分國記事，這種體裁產生於中國分裂割據的春秋戰國時期，隨著大一統局麵的出現而不再有人去續作。史記家是司馬遷創造的紀傳體通史。漢書家是班固變通司馬遷所創體裁而作的紀傳體斷代史。劉知幾認為紀傳體的特點是“紀以包舉大端，傳以委曲細事，表以譜列年爵，誌以總括遺漏，逮乎天文、地理、國典、朝章，顯隱必該，洪纖靡失”。也就是說，這種體裁有大的綱領性的記載，又有比較細致的關於人和事的記載，是一種比較完備的體裁。拿《史記》的通史和《漢書》的斷代史進行比較，劉知幾認為斷代史“包舉一代，撰成一書，言皆精煉，事甚該密，學者尋討，易為其功”，比起通史來更 好一些。最後，他認為六種體裁中隻有編年體和斷代紀傳體是較為理想的史書體裁，所以後來有人繼承《左傳》的統緒而大作編年史，有人仿效《漢書》的體裁而一代代的編斷代紀傳史。繼承《左傳》編年體的以荀悅的《漢紀》成就最為突出，可與班固的《漢書》並駕齊驅，結果就形成了“班荀二體，角力爭先”的局麵。劉知幾把編年，紀傳這兩種體裁的史書都稱之為“正史”。
正史以外，還有其他體裁的史書，劉知幾把它們概括為:偏記、小錄、逸事、瑣言、郡書、家史、別傳、雜記、地理書、都邑簿等10種，總稱之為“雜述”。這類史書雖然不像“帝王之書”“諸侯之記”那樣正經規範，並且“言多鄙樸，事罕圓備”，但是它們畢竟記的是“即日當時之事”、“最為實錄”，屬於劉知幾所區分的兩類史書中的前一類，是可以作為後人撰寫史著時參考的原始資料。