1986年，吳祖強同時又被任命為中國文聯黨組書記，對於這個剛剛挑在肩上的工作，雖然遠沒有自己對中央音樂學院和中國音協的工作情況熟悉，但是他卻沒有帶一個“自己的人”去“接管”文聯，而是對原來文聯的老工作人員充滿信任，憑借自己極強的工作能力和清正廉潔、平易務實的工作作風，與文聯的同誌一起圓滿完成了中央交托的第五次文聯代表大會的各項籌備工作。對這項工作，王安國教授也做了很好的總結：
“在新一屆文代會的籌備過程中，文聯體製改革是工作的重點，其中，根據我國社會新時期發展變化了的情況，對文聯的性質和任務、機構、組織係統做出相應的定位，是文聯體製改革的核心問題，在新中國成立後的一段時期，由於特殊的曆史原因，群眾團體和政府機構沒有原則區別，文聯和各文藝家協會實際上成了文藝工作和文藝界的領導機關，因此過去的文聯章程寫有：中國文聯對其會員‘負有協調、聯絡和指導的責任’。1988年召開的第五次文代會，將這條章程內容改為‘負有協調、聯絡和服務的責任’。‘指導’改為‘服務’，一詞之差，準確地表述了中國文學藝術界聯合會作為社會群眾團體的性質和基本任務。這一經黨中央批準的、順應時代發展的改變，成為文聯新舊體製轉換的一個曆史性標誌。從中也表明了吳祖強作為‘主事者’的鮮明立場和積極推進文聯體製改革的主張。”
與經濟學家吳敬璉教授在全國政協會議主席台上從1988年起，吳祖強連續擔任第七、八、九、十、十一屆全國政協常委，作為中國文藝界有聲望的代表，吳祖強在這一領域內也發揮了深遠影響。無論是在政協的會議上，還是在各種不同的場合，他都曾就精神文明建設、文藝立法、文藝工作的社會效益等問題提出提案或作大會發言。他的發言內容，既有他十分敬佩和高度讚揚的“講真話”精神，也有為發展我國的科教文衛事業的“要堅決糾正在我們黨內相當普遍、相當長期存在的輕視教育科學文化和歧視知識分子的錯誤觀念”，還有他從學校校舍被占用，到藝術教師的生活工作條件、工資待遇、醫藥費報銷，學校圖書、樂器、音響設備的添置等，為“藝術教育討點公平”慷慨陳詞。
在20世紀80年代中國改革開放的新時代，作為中國音樂界“最大”的“官”，吳祖強無疑是一名與時代同步的成功的社會活動家，而這離不開他極強的工作能力和出眾的藝術才華，以及他高度的社會責任感。就如王安國教授說的那樣：
“吳祖強的名字，同時又是和他在各種社會活動中所表現出來的高度社會責任感及與時代同步的開明、睿智、幹練、寬容及寵辱不驚的泰然人格聯係在一起的。
……基於對中國當代社會曆史發展方向的正確認識和把握，基於對黨的十一屆三中全會精神的深刻理解和對黨在新時期基本路線的衷心擁護，基於他對繁榮發展我國音樂事業的強烈責任感，也基於他專深的學識和寬闊的視野，吳祖強在麵臨上述一係列有爭議的、涉及敏感的藝術觀念（‘文藝思想’）問題時，不僅坦然表明自己的立場和觀點，而且在自己負有領導責任的工作崗位上，熱情肯定、公開支持改革開放中出現的有價值的新事物。有這樣一位順應時代潮流、深諳音樂藝術規律的開明領導，應該說是我們音樂界乃至文藝界的‘福分’。”