1949年3月，吳玉章參加黨的七屆二中全會，對於全國的革命形勢有了一個更為廣泛深入的了解。全會結束後，他隨即於3月21日回校召開指導委員會，向學校有關領導傳達會議精神。並隨即對即將來臨的入京工作作了指示，接著成仿吾率30餘名幹部遷北京。吳玉章在向周恩來及華北局有關領導彙報華北大學半年來工作情況後，立即布置遷京的各項工作，4月華北大學在吳玉章率領下遷入北京。
1949年3月25日中共中央進駐北京。這使建國問題迫在眉睫，黨中央和毛澤東決定由劉少奇率中共代表團訪蘇，請蘇聯幫助辦一個培養建設管理人才之專門學校以及商談中蘇交通、文化交流、貿易等問題。8月中旬，劉少奇圓滿地完成了出訪任務，從此由蘇聯援建中國人民大學一事提上了日程。
1949年10月1日，中華人民共和國成立。為了培養新中國的建設幹部，黨中央決定以華北大學為基礎，合並中國政法大學，從華北人民革命大學抽調部分幹部，成立中國人民大學。為此，中央成立了以陸定一為首的10人籌備委員會，擬定建校計劃。
1950年2月，中央任命原華北大學校長吳玉章為中國人民大學校長，胡錫奎、成仿吾為副校長。同時，經中央組織部批準，成立中共中國人民大學委員會，閻子元任書記，丁禹疇任副書記。
1950年3月中旬，中央人民政府教育部部長馬敘倫、副部長錢俊瑞命令：“政務院第23次政務會議通過任命吳玉章為中國人民大學校長，胡錫奎、成仿吾為副校長”，同時組成了以閻子元為書記的中國人民大學黨委會。是月下旬，《人民日報》刊登的《訪中國人民大學》一文中指出，人民大學在校學生中，革命幹部和先進工作者占二分之一以上。“這是中國社會關係在政權改變後所發生的深刻變化之一，勞動人民將被逐步培養成為新型知識分子，進入高度發達的科學文化知識的領域，成為新中國建設中的骨幹。”
吳玉章在接到中共中央的任命後，他向中央表示，自己非常樂意擔任教育工作，願為宣傳馬列主義、毛澤東思想，為培養社會主義革命和社會主義建設的人才而竭盡全力。盡管當時他已居高齡，但自開國以來，他總是意氣風發地主辦著這所社會主義新型大學。
1950年10月3日，中國人民大學隆重舉行了開學典禮。吳玉章在開學典禮上指出：中國人民大學所要培養的是怎樣一種幹部呢？它是要培養精通先進科學與技術，為科學社會主義，即馬列主義知識和毛澤東思想所武裝，與各種具體業務相結合、決心保衛人民民主主義祖國，忠誠於新民主主義建設而將來準備為共產主義事業奮鬥的幹部。為要達到培養這種幹部的目的，我們首先要建設我們的學校，而我們的學校應該擔負起下麵的幾個主要任務：組織科學的教學方法，使能夠保證培養各種科學技術的專家，而培養出來的這些專家都要能夠掌握科學上的最新成就，能夠正確應用，並能夠聯係理論與實際，使生產經驗與科學相結合；以馬列主義和毛澤東思想來進行學生的政治思想教育，並把他們培養成為有高度文化修養的專家；創造具有現代科學水平與高度思想水平的教材與參考書；進行能夠解決新民主主義建設上重要問題的科學研究工作；不斷提高教員的政治思想水平與科學水平，並培養大批科學教育工作幹部；廣泛傳播科學與技術知識，用將要繼續開展的勞動運動所將達到的科學與技術的最新成就。
1966年，文化大革命全麵爆發，中國陷入全麵動亂之中，吳玉章也遭到了打擊迫害，身心遭到嚴重摧殘。吳玉章在1966年10月底病倒了。盡管他是革命前輩，年邁體衰，生活上需照顧護理，可他在病中卻聽到的是“老走資派”、“黑線人物”的種種誣蔑。他住在北京東四六條的小院裏，因無人照顧而跌成腿骨骨折。在這種情況下，又因周恩來親自過問，吳玉章才得以在動亂中住進醫院。也許是因禍得福，當中國人民大學內的造反派頭頭想把他揪回人大批鬥以徹底清算17年教育黑路線時，國務院通知造反派說他是腿骨骨折，這才免過了一場災禍。
麵對打倒一切、懷疑一切的惡風，麵對著“郭影秋的黑後台”等種種誣蔑，吳玉章在病中想到的不是他自己，而是關心著各級黨政機關和文化教育單位的狀況。這位為中國革命、為中華民族奮鬥了一生的老人憂心如焚，不勝悲憤，以致又患了肺炎，治療無效而逝。