胡喬木同鄧力群、於光遠商量，社科院的工作重點是科研，要把工作著重點轉到科研上來，把科研抓上去；當前的主要矛盾是揭批“四人幫”、解決曆史遺留問題。“文化大革命”以來，全院有547名幹部被立案審查，占了職工總人數的四分之一，妥善解決這些問題才能繼續前進。而作為一個新建單位，建立健全院、所兩級機構，及時調配幹部等組織建設工作也是當務之急。
經過調查研究，從1978年1月起，胡喬木一方麵建立、健全院、所兩級領導機構，調配幹部，一方麵及時作出部署，雙管齊下，把清查運動與複查工作和科研工作同時開展起來。1月11日，全院召開了製訂科研計劃和規劃動員會，隨後各所製訂（或修訂）科研計劃，社科院和教育部籌備聯合召開社會科學發展規劃會議。1月12日，鄧力群主持會議，部署揭批“四人幫”的準備工作。在胡喬木和鄧力群、於光遠等領導下，中國社會科學院的各項工作全麵開展起來。
把社科院的框架搭起來
首先是建立、健全院一級的領導班子和機構。
大約在1977年11月，外麵傳說周揚可以分配工作了。鄧力群知道後即向胡喬木建議讓他來當副院長。胡喬木有顧慮。後來，有一次在鄧小平那裏談到周揚。鄧小平說，讓他當個顧問吧。這樣，在1977年12月23日，中央下發了對周揚的任命。1978年1月17日，院黨組向中央請示，提出黨組成員建議名單，建議周揚參加黨組。經中央批準，中國社會科學院黨組由胡喬木、鄧力群、於光遠、周揚、劉仰嶠、宋一平、王仲方七人組成。胡喬木任書記，鄧力群、於光遠任副書記。
到這年夏天，胡喬木同意鄧力群的意見，讓周揚擔任實職，當副院長。同時，還請經濟學家許滌新、外交家宦鄉擔任副院長；齊燕銘、陳翰笙為院顧問。1978年9月10日黨中央批準了中國社會科學院新一屆黨組組成的請示報告。胡喬木為黨組書記，鄧力群、於光遠為黨組副書記；劉仰嶠為黨組副書記兼秘書長；宋一平為黨組副書記兼政治部主任；周揚、許滌新、宦鄉為黨組成員、副院長；王仲方、劉導生、梅益、杜幹全為黨組成員、副秘書長。9月16日，胡喬木主持召開了新黨組的第一次會議，討論並決定了黨組的分工。胡喬木是黨組書記、院長，領導院的全麵工作，負責有關革命史的三部書的寫作，並負責聯係法學所、語言所、新聞所、情報所以及教育部教育研究所。鄧力群、於光遠、周揚等也各有分工。
至此，院一級領導班子比較健全了，院長、副院長都是老幹部，同時又是學問家。
在1975年7月胡喬木向鄧小平彙報已經確定的哲學社會科學部領導小組成員時，鄧小平就囑咐：學部在適當的時候要考慮增加學術界人士擔任副主任。社科院成立後，胡喬木在實際工作中感到，社科院副院長的確還需要有專門做學問的著名學者出任才好。他覺得錢鍾書和夏鼐是非常合適的人選。
錢鍾書是胡喬木在清華讀書時的高班同學。學生時代即已嶄露頭角，名震全校。以後幾十年潛心治學，淡泊名利。他學貫中西，在中國古典文學和中西比較文學等領域成就卓著，深為國內外學術界敬仰。胡喬木同他雖然走了兩條不同的發展道路，但殊途同歸，互相敬重，情誼頗為深厚。1982年5月，胡喬木在主持起草中共十二大報告的日子裏，利用一個星期天專門前往錢鍾書寓所敦請。知情人後來回憶此事，寫道：“大約是5月份的一個星期六的晚上，他忽然告訴我‘明天要去找錢鍾書’。我問為什麼？他一字一頓地說：‘我要請他看在我的麵子上，給社科院撐撐場麵，給社科院當個副院長。’我永遠不會忘記他當時笑眯眯的表情。”胡喬木登門，說了老友之間充滿情誼的話，懇請錢鍾書“出山”。素以仕宦為畏途的錢鍾書，卻不過老朋友的麵子，隻好“蒙命承乏”。