可是，以撒迪厄斯·史蒂文斯眾議員和查爾斯·薩姆納參議員為代表的共和黨激進派決心懲罰南部，防止內戰前支配國家事務的南部民主黨的權力基礎複活。他們於1865年12月組成了“國會聯合重建委員會”，強調國會對重建工作的領導權。翌年4月，國會通過了《公民權利法案》，以保護被解放了的黑人，並通過《憲法第十四條修正案》使這種保護寫進了憲法。約翰遜為了不使重建運動打上共和黨激進派的印記，行使了29次否決權，其中有15次被國會推翻。
在1866年底國會中期選舉之後，共和黨激進派增加了國會中的名額，占了更大多數的席位。到1867年春，激進派使一係列強硬的“重建”提案成為法律。其內容包括：（1）《被解放黑奴事務管理局法》（1866年），在1872年該局撤銷以前，它旨在為南部黑人提供教育、醫療服務、土地和工作；（2）《哥倫比亞特區選舉法》（1867年），給該區居民以公民選舉權；（3）4項《重建法案》（1867年3月到1868年3月），將南部分為5個軍區，由軍區司令執掌行政與司法權，並組織文職政府，準備重新加入聯邦；剝奪一切叛亂分子的選舉權和參政權；由不受種族、膚色和過去社會地位限製的選民選舉產生製憲會議，以合眾國憲法為依據製定或修改州憲法；各州依據新的州憲法產生議會和州政府，在州議會批準第十四條修正案、州憲法獲得國會承認後，方可派代表出席國會參眾兩院。在此之前，由聯邦軍隊維持和平。
約翰遜總統對激進派通過的重建綱領和補充法案極為不滿。他警告說，國會這樣做的結果，“勢必會引起兩個種族之間的對抗和仇恨”。
他認為這種法案“隻是為了達到政治目的，而不考慮它是既侵犯了權利，又觸犯了法律，還危害了國家製度。”
共和黨激進派對約翰進行反擊，他們在1867的春天推翻了總統的否決而通過了《官職任期法案》，禁止總統未經參議院同意就罷免政府的文職官員（包括內閣成員）。而在約翰遜看來，這個法案是違反憲法的。於是在這年8月，總統罷免了屬於激進派的陸軍部長愛德溫·斯坦頓的職務，斯坦頓則在薩姆納等人支持下拒絕離職。1868年2月，眾議院以126票對47票通過決議，以蓄意違反《官職任期法》發動了對約翰遜的彈劾。3月5日，在最高法院首席法官蔡斯主持下，參議院開始審理彈劾案，曆時兩個多月。5月16日和26日，參議院就彈劾案進行兩次表決，結果票數均為35票對19票，比定罪和罷免彈劾總統職務所需的2／3票隻差一票。約翰遜被宣告無罪，應感謝埃德蒙·羅斯等7名共和黨參議員，他們脫離了自己政黨的隊伍，與民主黨人一起，努力為他開脫。
彈劾案結束後，總統與國會之間的僵局仍沒有被打破。約翰遜原來在1864年大選中是由共和黨（當時又稱“全國聯邦黨”）提名而當選為副總統的。他本來希望在1868年民主黨會提名他為總統候選人，但結果卻大失所望。約翰遜對重建中出現的腐敗貪汙現象深惡痛絕，認為“絕大部分（即使不是全部）國內糾紛都是由於違反憲法製訂過多的法案引起的。……這些法案確實證明都是失敗的，並帶來了有害的結果。”
也許使約翰遜政府最感驕傲的成就是1867年從沙皇俄國手中購買了阿拉斯加這塊遼闊的靠北極的土地。經辦此事的是國務卿西沃德，當時反對者們把阿拉斯加購買稱為“西沃德的愚蠢之舉”或“西沃德買回的大冰箱”，但事實終於證明，這塊土地的實際價值已遠遠超過了它720萬美元的買價。