李善長找到劉伯溫，將元朝頒布的刑法，逐條核定，除了弑君等大逆不道的罪行留下株連九族的刑罰外，其餘的犯罪一律廢除連坐。
李善長和劉伯溫一起擬定的新刑法一公布，便得到應天城百姓的熱烈擁護，他們都高呼吳王為吳青天。
修史編律固國業恃傲難保晚節風
元至正二十八年（1368）正月初四，朱元璋在應天稱帝，是為明太祖。國號大明，改元洪武。晉封李善長為銀青榮祿大夫、上柱國、錄軍國重事、中書左丞相、宣國公。至此，李善長成為了大明王朝開國的第一任宰相。
是年四月，徐達率領的北伐大軍占據山東、河南全境，形成了對元大都（今北京）的三麵包圍之勢。太祖大喜，決定去汴梁（今河南開封）北巡，臨行之時，將一切朝政之事，均托付於李善長。
朱元璋四月北巡，七月方回到應天府，在這三個多月期間，朝中大小事情皆由李善長一人處理。開國之初，百廢待興，百章待建，百業待舉，每天都有近百件要事需要皇帝處理，而這些事都被扔給李善長。李善長確實是一位出色的丞相，他日夜操勞，每天幾乎隻睡一兩個時辰的覺，醒來就處理奏章。這樣，李善長把政務處理得井井有條，六部各項事務皆走上了正軌，使太祖的帝王統治機器，開始了高速運轉。七月，太祖回到應天，李善長立即入殿見駕，將三個月來朝中重要事件，一一做了詳奏。太祖聽了龍顏大悅，道：“朕北巡之際，丞相主理朝中事務，調度有方，秩序井然，朕甚為滿意。”
接著，太祖又命他負責監修《元史》，編《祖訓錄》、《大明集禮》等書。
元朝滅亡後，將元朝的史實翔實地記載下來是一項十分重要的工作。太祖將此事委托給李善長後，李善長立即找到太子朱標的老師宋濂，請他組織一批文人撰寫《元史》。從洪武二年(1369)到洪武三年(1370)，完成210卷《元史》的撰修工作，將蒙古國和元朝的164年間，18代皇帝及其後妃、功臣等的事狀詳細地記載了下來。
太祖吸取了元朝滅亡的曆史教訓，認為皇位繼承是維持其皇朝安全的根本保障，必須有嚴格的法律規定，才不會引起家族間的紛爭，造成宮廷政變。所以在立了皇太子以後，為了使諸王都擁護皇太子，不參與爭權奪位，他命李善長撰寫了一部《昭鑒錄》，將漢唐以來藩王善惡事跡輯錄下來，頒賜諸王，對其進行宗法教育。立皇太孫後，朱元璋害怕朱允炆年齡太小，即位後，各位叔王不聽從其統治，又命李善長編寫了《永鑒錄》，把曆代皇帝、藩王和大臣應當遵守的、不該做的事，都詳細列舉出來，給諸王和大臣看，並立法說後代有人要更改祖訓的，以奸臣論，殺無赦。另外，李善長又編寫有《世臣總錄》，是收輯曆代大臣善惡可以勸誡的事跡，頒示群臣進行教育的書。三部書合稱為《祖訓錄》。太祖又責成李善長製定各種禮法，編纂成集，稱為《大明集禮》。
在李善長主持編寫祖訓、禮法等書籍的同時，太祖還命他召集文武官員，對太祖的兒子封藩進行商議。幫助太祖打江山的一些元帥、將軍，皆緘口不語，認為這表示皇帝不相信大臣，而相信自己的兒子。在李善長的斡旋下，讓太祖之子，如燕王、晉王等，手握兵權駐守北方；其他的，如周王、齊王等，駐於各城大邑，不掌兵權，隻是起監督地方官吏的作用。這樣，第一批分封的藩王得到了將帥的理解和支持。
洪武三年(1370)，明朝大封功臣。太祖道：“百室丞相，雖無汗馬戰陣之勞，但事朕日久，供給軍糧，功勞甚多，宜進封大國。”於是授李善長開國輔運推誠守正文臣、特進光祿大夫、左柱國、太師、中書左丞相，封韓國公，歲祿四千石，子孫世襲。給予鐵券，免二死，子免一死。
戰爭結束，武將暫且退下，文臣開始大放異彩。李善長編律修史，給明朝曆代統治者以可循之章，給中國史著留下了光輝的篇章。這份功績，是不容忽視的。
但由於長期位高權重，李善長慢慢也有了驕橫之心，對與自己意見相左的官員，經常進行排擠。如參議李飲冰、楊希聖等略略侵犯了李善長的權力，他便立即考察他們的過失，上奏免去了他們的官職。
洪武四年（1371），太祖賜給他臨濠的田地若幹頃，設置守墳戶150家，又給佃戶1500家，儀仗戶20家。任命他主持修建臨濠的宮殿，遷徙江南的富有百姓14萬到濠州種田，為此李善長留居濠州幾年。洪武七年（1374）提升李善長的弟弟李存義做太仆寺丞，存義的兒子李伸、李佑都做了朝廷重要的官員。洪武九年（1376），太祖把長女臨安公主下嫁給李善長的次子李祺，封李祺做駙馬都尉。李善長一家光彩榮耀，顯赫高貴，令滿朝文武羨慕。
李祺娶公主以後一個月，禦史大夫汪廣洋上疏言道：“善長狎寵自恣，陛下病不視朝幾及旬，不問候。駙馬都尉祺六日不朝，宣至殿前，又不引罪，大不敬。”而此時，朱元璋對李善長的驕橫也漸漸不滿。因此，定罪削去李善長每年的俸祿1800石。但不久又任命他和曹國公李文忠掌管中書省、大都督府、禦史台，共同議定軍國大事，監督圜丘工程。
丞相胡惟庸，起初為寧國縣知縣。因為李善長的推薦提升為太常寺少卿，後來成為丞相，因此兩人交往密切。而李善長弟弟李存義的兒子李佑，是胡惟庸的侄女婿。洪武十三年（1380），胡惟庸謀反被殺，牽連為胡黨而判罪被殺的人非常多，李善長開始未受牽連。禦史台缺中丞，太祖還讓李善長治理禦史台的事務。但到了洪武十八年（1385），有人告發李存義父子實際上勾結胡惟庸，太祖下詔書免去他們的死罪，安置到崇明。李善長沒有為此感謝恩典，因此，太祖懷恨在心。
洪武二十三年（1390），李善長已經77歲，年老不能約束下麵的人。他想建自己的住宅，就向信國公湯和借300名侍衛兵士，湯和秘密報告了太祖。
四月，京師有一批判罪應當遷徙到邊地去的官員，李善長的親信丁斌等人也在其內，李善長幾次請求不要遷徙他們。太祖為此大為生氣，審問丁斌。丁斌以前在胡惟庸家做事，因此說出李存義等人以前與胡惟庸交結的情況。太祖命令逮捕李存義父子審訊，他們供出的案情牽連到李善長，供詞中寫道：
惟庸有反謀，使存義陰說善長。善長驚叱曰：“爾言何為者！審爾，九族皆滅！”已，又使善長故人楊文裕說之雲：“事成當以淮西地封為王。”善長驚不許，然頗心動。惟庸乃自往說善長，猶不許。居久之，惟庸複遣存義進說，善長歎曰：“吾老矣。吾死，汝等自為之！”
又有人揭發李善長道：“將軍藍玉出塞，至捕魚兒海，獲惟庸通沙漠使者封績，善長匿不以聞。”禦史們一起上章彈劾李善長。而李善長的奴仆盧仲謙等，也揭發李善長與胡惟庸互贈財物，私下秘語。罪案於是成立：說李善長身為功臣元勳、皇親國戚，知道謀反的陰謀而不告發，懷疑觀望，心懷兩端，真是大逆不道。正巧這時有人報告星象有異常變化，預示應當改換重臣應災。於是李善長及其妻子、兒子、兄弟、侄子全家70多人都被誅殺。而吉安侯陸仲亨、延安侯唐勝宗、平涼侯費聚、南雄侯趙庸、滎陽侯鄭遇春、宜春侯黃彬、定南侯留聚等人，都同時作為胡惟庸同黨被殺。已經死去而被追加定罪的人也有許多。
太祖親手書寫條列他們的罪狀，附上獄中的供詞，作為《昭示奸黨三錄》，布告天下。李善長的兒子李祺和公主被遷徙到江浦，不久後死去，李祺的兒子李芳、李茂，因為公主的緣故沒有定罪。
李善長商賈出身，本為豪家富室，卻毅然跟隨朱元璋東征西討、創業護國。他的計策，讓朱元璋在統一中原時如順水行舟；他的才幹，讓大明王朝建國初期固若金湯。他主持修訂的《元史》，是留給後人珍貴的史籍；他編撰的各項規章製度，為明朝的統治者一直沿用。可以說，他是明初一位傑出的政治家。然而，他晚年卻居功自傲，讓本就心胸狹隘的朱元璋陡生疑忌，終使李氏一門九族盡滅，可謂悲慘，難免令人扼腕歎息。