當司馬遷在河山之陽耕耘收獲的時候，漢武帝劉徹也頗有收獲，他正在悄悄地進行政治改革，他作為一個全力推行改革的皇帝，可不像兩千年後清朝光緒帝那樣軟弱，他敢於在專權的竇太皇太後眼皮下推行新政，當然，起初采取較為隱蔽的方式。他上台伊始，就下令地方官推薦“賢良方正，直言極諫”之士，到中央來做官，但有一個限製，排斥法家和縱橫家。這麼一來，董仲舒等博學大儒就沾了大光，一步登天。
建元五年（公元前136年），司馬遷年方十歲在家攻讀古文的時候，二十出頭的漢武帝進一步實行新政。此時竇太皇太後已體弱多病，管不了多少事了。於是，第二步改革出爐：在帝王的顧問班子裏，增設“五經博士”。
建元六年（公元前135年），竇太皇太後崩駕，改革的阻力徹底排除，漢武帝可以大刀闊斧地進行體製改革了。這一年武帝做成了一件大事：將不是儒家的博士全部開缺，讓他們回家耕田去吧，政府不供養他們了。這就是曆史上有名的“罷黜百家”。而留下來的儒家博士的地位則有所攀升，他們不再是裝門麵、跑龍套的角色，成了定編、定崗的官員，其任務是專門研究曆史和政治，而且要求他們“通經致用”，即必須把研究成果用於實際，他們雖然沒有實際的職務，但可以參加政務會議（廷議），從而打開了學術指導政治的大門。
再過十二年，到了漢元朔五年（公元前124年），漢武帝繼續完善體製改革：在這些博士的底下，設置弟子員五十人，這有點像現在招收研究生，但名額少得多。對這些弟子員，每年都要考核，如果能精通一部古代儒家經典，就可以分配擔任官吏，成績特別好的可以擔任“郎”，即作天子的侍從官，這麼一來，普通百姓也可通過讀書走向宦途。
漢武帝這樣的專製君主，為什麼如此禮賢下士、尊重儒家呢？這是封建帝王的胡蘿卜加大棒的兩手策略：他為了迎合民意，就披上儒家的外套，高談王道，推重禮製，獲得重仁義美名，在經濟上實行讓步政策，使人民能勉強活得下去，不致於疲累不堪，這是他的胡蘿卜策略；但他還有一手大棒策略，即暗地裏實行法家政治，也就是行尚武、尚法之實，以滿足他的“多欲”的內心。漢武帝是實行這種兩手策略的最佳者，也是首創者。
法家的理論是以帝王為中心，它以暴力為指導原則，告訴帝王怎樣盤剝和統治人民，怎樣榨取天下老百姓的能力為自己服務。按理說，這種學說最迎合帝王。儒家以天下人為中心，以仁義為指導原則。孟子說：“民為貴，社稷次之，君為輕。”如果真的以儒家學說為指導一切的方針，那麼，在社會資源的分配上，老百姓應獲得最大的利益，君主的利益隻居次要的位置。這是大權在握的皇帝怎麼也不幹的。
但漢武帝實在不敢明目張膽地提倡法家學說，秦代一味崇尚法家，使民眾十分痛苦、疲累不堪，結果很快亡國，這樣的前車之鑒，漢武帝應該記取。漢代的官民，都是受秦暴政蹂躪的百姓的後代子孫，誰也不願回複到法家政治中去，武帝也沒有膽量違背這個民意。因此，惟一可行的辦法是利用迂闊但高談王道並且重禮製的儒家之學，來掩飾行法家政治之實。這麼一來，重仁義、行王道的美名獲得了，天下人談秦法色變的排斥力免除了，可法家政治仍舊照行不誤。
以儒家裝點門麵，暗地實行法家政治，這才是武帝的無上法寶。從他的一係列內政外交措施來看，無一不是這法寶的靈活運用。竇太後歸天後，他首先要法辦的是竇嬰、灌夫兩人，二人都是竇太後的親信大臣，素來憑借太後勢力，驕橫跋扈，魚肉百姓，稱霸一方，武帝將竇嬰處死，灌夫滅族後，百姓歡騰，作歌說：“潁水清，灌氏寧，潁水濁，灌氏族。”豪強們從此畏服，不敢動作。他任用讀書人公孫弘為丞相，這是個平民出身的官員，沒有貴族背景，但隻會唯唯諾諾，讓皇帝手中擁有無限威權。接著武帝又削弱各個冊封的王國，其手段是命令諸侯王把他們的土地分給子弟，對圖謀反叛的諸侯，則重兵征討。