從1978年被正式任命為中央音樂學院領導小組副組長，到兩年後任副院長，1982年9月任院長，幾年的時間，中央音樂學院的麵貌就大大改觀，徹底從“文化大革命”造成的巨大傷痛中走了出來。這些，自然離不開吳祖強在具體的領導崗位上的身體力行與他在中央音樂學院大力推行的各項改革工作。
尤其是在升任院長後，吳祖強在中央音樂學院積極穩妥地進行了管理製度的改革，更是保證了教學和學院各項工作的穩定前進，開創了中央音樂學院的新局麵。
上任不久的吳祖強首先根據祖國新形勢的發展，帶領學院重新建立了正常的、盡量符合形勢需要的教學和工作體製，製定並執行了必要的規章製度。在這些新的製度中，包括教師等業務人員的工作量製度、職稱評議製度、師生雙選製度、職工考勤考績製度、學生學籍管理及教學實習和勞動製度、個別管理部門半企業化體製等，雖然在製定和執行時都遇到了不小的阻力，而且這些製度本身也並不十分完善，有的要求實際上還是偏低的，但不得不說，新製度的製定和執行，對學院的工作產生了積極良好的效果，也為進一步改進工作奠定了基礎。
緊接著，吳祖強又大膽提出了改革各級管理體製的措施，這些措施主要有：各級領導幹部實行選舉、聘用、任期製並鼓勵有組織能力的專業幹部兼任行政領導職務；對各級幹部凡級職不相稱者實行津貼；學院的某些部門可以試行企業化管理，實行承包合同、浮動工資等辦法及各部門都要實行崗位責任製；教職工實行聘任合同製並允許不妨礙履行合同規定的兼職兼薪；實行學生淘汰製，即一年試讀、二或三年結業（大專）、四或五年畢業，原則上不包分配；鼓勵學生走讀，占用學習條件（如樂器、資料）、宿舍等酌收費用，學生均繳納學費等。凡符合規定條件，經申請並通過專門考核可取得學院設置的各類獎學金；在正式建立院務委員會之前實行院務例會製度，改變黨委包辦全部學院行政事務的現狀；大力開展音樂創作和科研、演出活動，特別要鼓勵並組織好各種類型的音樂創作，促使學院不僅要出優秀人才，還要出好作品等。
在很短的時間裏，吳祖強力主的這些改革措施就開始實施並初見成效，中央音樂學院也呈現出一派生機勃勃的景象，逐漸成為一座高效益的現代化音樂學府。在吳祖強1984年撰寫的《需要重視藝術教育》一文中，我們似乎可以領略到一些中央音樂學院在那個時期取得優異教學成果之風采：
“自1978年迄今，中央音樂學院大部分各係本科生、多種進修生畢業、結業共約500人，附屬中學和小學，包括業餘附小的畢業、結業學生總數還要超過這個數字。學院教學質量有極大提高，演奏、演唱、創作參加國內外各項音樂比賽獲獎者達85人次，理論及科研成果也很引人注目。1982年暑假前以應屆畢業生為主組成的管弦樂隊的出色演奏，1983年作曲係畢業生5場不同曲目的管弦樂作品音樂會，音樂學係一整批學士論文答辯，歌劇、聲樂係本科和進修班畢業生在我國舞台上首演了世界著名歌劇《費加羅的婚姻》、《繡花女》，還演出了新歌劇《傷逝》和著名歌劇《茶花女》的兩幕，這都是以前未曾有的事，在音樂界和社會上引起了極大的轟動。在學院新建的實驗樂團中，以近兩三年部分畢業生組成的小型民族樂隊已獲得了國內外很高的評價，多次應邀出國訪問演出，介紹、宣傳我國傳統和現代的民族音樂並積極推動了民樂創作。5年中，在北京附近的工廠、農村、部隊和全國十多個城市進行的兩次大規模師生勞動藝術實踐活動，演出和群眾音樂輔導近兩百場次，反映強烈。去年春天在英國舉行的首屆梅紐因國際小提琴比賽中，我國青少年選手獲得極為可觀的令人喜悅的成果；最近在維也納和赫爾辛基舉行的國際歌劇、聲樂比賽中，上海音樂學院和中央音樂學院培養的青年選手先後奪得了3個第一名、1個第二名、1個第三名，震驚了國際樂壇。
我以為這已足夠說明我國音樂教育事業的確蘊含著極其巨大的潛力。安定的政治環境保障了正常的穩定的教學秩序，這是建國以來所罕有的。老師的努力，學生的勤奮，根植於五千年文明沃土的中華兒女的高度聰明才智，在音樂上、在藝術上將能為全世界作出我們應有的更大貢獻……”