東漢光武帝在位，“親總吏職，權歸尚書，三公但受成事而已”。尚書是少府龐大機構中的一個。置尚書令一人，千石，“主讚奏事，總典綱紀，無所不統，天子所服五時衣賜尚書令。每朝會，尚書令。禦史中丞、司隸校尉皆專席，故京師號日‘三獨坐’。言其尊重”。其屬有尚書仆射一人，六百石，署尚書事，令不在，則奏下眾事。《漢儀》謂：“仆射主封門，掌授凜，假錢穀。凡三公、列卿、將、大夫、五營校尉行複道中，遇尚書仆射，左右丞、郎、禦史中丞、侍禦史皆避車，豫相回避。衛士傳：不得迕台官。過後乃得去。”尚書六人，六百石，即在西漢五曹的基礎上，分主客曹為南北，總為六曹。左、右丞各一人，左丞主吏民章報及騶伯史，“總典台中綱紀，無所不統”。右丞假署印緩及紙筆墨請財用庫藏，即與仆射對掌授凜及假錢穀。兩丞且同掌宮中漏夜警衛。侍郎三十六人，每曹各六人，主作文書。又有令史十八人。（《後漢書·百官誌·少府》）可知尚書已完全包攬了丞相的所有職務。和帝詔雲：“尚書，古之納言，出納朕命。”（同上）《通典》亦謂後漢之尚書，“則為優重，出納王命，敷奏萬機。蓋政令之所由宣，選舉之所由定，罪賞之所由正。斯乃文昌天府，眾務淵藪，內外所折衷，遠近所稟仰。故李固雲：‘陛下之有尚書，猶天之有北鬥。鬥為天喉舌，尚書亦為陛下喉舌。鬥斟酌元氣，運平四時；尚書出納王命，賦政四海”’（卷二二進製《職官四·尚書上》）。當時人都明確指出：“尚書見任，重於三公。”“三公具位而已。”三公中隻有帶“尚書事”銜者，位在三公上，才具有宰相的實權，稱之為“錄尚書”、“錄公”。六曹並令、仆二人，謂之“八座”（《晉書》卷二四《職官誌》）。
曹魏時期，置吏部、左民、客曹、五兵、度支五曹尚書，並二仆射。一令為“八座”。分置殿中、吏部、駕部、金部、虞曹、比部、南主客、祠部、度支、庫部、農部、水部、儀曹、三公、倉部、民曹、二千石、中兵、外兵、都兵、別兵、考功、定課、都官、騎兵凡二十五曹郎。兩晉南北朝時期，尚書與曹郎的數目代有增減。齊尚書省置令與仆射，分置吏部、殿中、祠部、五兵、都官、度支六尚書。尚書分統列曹。吏部統史部、考功、主爵三曹。殿中統殿中、儀曹、三公、駕部四曹。祠部統祠部、主客、虞曹、屯田、起部五曹。五兵統左中兵、右中兵、左外兵、右外兵、都兵五曹。都官統都官、二千石、比部、水部、膳部五曹。度支統度支、倉部、左戶、右戶、金部、庫部六曹。共二十八曹。
隋代的尚書省，事無不總。置令、左右仆射各一人，總吏部、禮部、兵部、部官、度支、工部等六曹事，是為八座。屬官左、右丞各一人，都事八人，分司管轄。吏部尚書統吏部侍郎二人，主爵侍郎一人，司勳侍郎二人，考功侍郎一人。禮部尚書統禮部洞部侍郎各一人，主客、膳部侍郎各二人。兵部尚書統兵部、職方侍郎各二人，駕部、庫部侍郎各一人。都官尚書統都官侍郎二人，刑部、比部侍郎各一人，司門侍郎二人。度支尚書統度支、戶部侍郎各二人，金部、倉部侍郎各一人。工部尚書統工部、屯田侍郎各二人，虞部、水部待郎各一人。凡三十六侍郎，分司曹務，直宿禁省，如漢之製。（《隋書》卷二七、二八《百官誌》）這裏，應該特別指出：根據《隋書》的這一記載，可知尚書省這一機構，從漢代一直到隋代，都設在禁中，不過隋時，已不屬少府，官階也遠非昔比，尚書令為正二品、尚書正三品，總攬全國的行政職權。
在尚書全麵取代外朝丞相行政職權的同時，中書的權力也猛增而發生了根本性的變化。中書，內中之書也。（李賢語）漢武初以宦者為之。司馬遷遭宮刑以後，就曾作過中書令，其職責是宣傳詔命。趙翼指出：“漢初中人有謁者令，孝武加中謁者令為中書謁者令，置仆射。宣帝時，任中書官宏恭為令，石顯為仆射。元帝時，恭死，顯代為中書令，專權用事。成帝時，因蕭望之言，乃罷其官，更名為中謁者令雲。自是以迄東漢，皆無中書之官。曹操為魏公，以劉放、孫資為秘書郎。文帝時，更秘書為中書，以放為監，資為令，遂掌機密。明帝益任焉。”（《陔餘叢考》卷二六《中書》）《三國誌·魏書·劉放傳》謂“放善為書檄，三祖（武、文、明）詔命，有所招喻，多放所為。”趙翼指此為“中書參機務擬詔旨之始”。“其時中書監、令號為重任。蔣濟諫曰：‘今外所言，輒雲中書，雖使恭慎不敢外交，但有此名猶惑世俗。況實據事要，日在目前，倘因疲倦之間，有所革製，眾臣見其能推移於事，即亦因而向之。’按：資、放、名臣，明帝令主，而濟已有此奏，可見權之所在，勢即隨之。故晉苟勖由中書監除尚書今，或賀之，而勖有奪我鳳池之歎。至晉惠帝時，孫秀為中書監，王威為中書令，權傾中外，則更任之極重者矣。”（同上）由於中書負責詔令的起草，有參與決策的權力，因此，從晉至於梁、陳諸代，國之政事，並由中書。（《通典》卷二一《職官三·中書省》）相對而言，尚書的職務在貫徹執行，顯然不能與擁有決策權的中書省相比擬。