在製憲會議的開頭兩個星期中，較大的州在有些小州的支持下，得以通過在國家議會的兩院中均以人口決定代表席位的提案。小州則馬上表示不滿，堅持他們在邦聯製下所享有的同等權力。雙方爭執不下，會議氣氛緊張。
6月28日，自由主義思想家富蘭克林動議在開會前先向上帝祈禱。代表們驚愕之餘，沒有采納，但這一提議本身和富蘭克林的虔誠祈求上帝幫助的發言，卻緩和了會場的氣氛。到那一天，一些小州的代表已在揚言，如果沒有平等代表席位，就散會。但在他的發言後，人們的頭腦冷靜下來，會議開始了。
兩天後，富蘭克林提議妥協，他呼籲持不同意見的雙方，各自作些讓步以達到立場的接近。
7月2日，富蘭克林被選入一個大委員會。在這個委員會中，一州隻有一名代表，任務是在大、小州的議員議席問題上尋找出妥協的辦法。
第二天，大委員會開會了。富蘭克林先倡行在兩院都實行比例代表製，討論的結果是較小的州不同意。最後，在富蘭克林動議的基礎上，委員會達成了妥協。7月5日委員會向製憲會議報告了這一妥協方案。他們的建議是：
1．在國家立法機構的第一個部分（眾議院），應有各州的代表，每4萬名居民中產生1名代表；
2．一切關於籌款或分攤錢款的議案必須從第一個部分產生，第二部分不得加以修改或補充；
3．在立法機構的第二部分（參議院），各州享有同等數量的議席。
這一妥協方案在製憲會議上以5（康涅狄格、紐澤西、特拉華、弗吉尼亞和北卡羅萊納）比4（賓夕法尼亞、馬裏蘭、南卡羅來納和喬治亞）被采納。麻薩諸塞州代表分為幾派，無法參加表決。
這是慣於尋求妥協方案的富蘭克林平生所作的最重大的協調之一，它直接關係到美國憲法能否在它最被需要的時期問世。
在這段日子裏的一天，7月13日，一名來費城訪問的麻薩諸塞州生物學家馬納塞·卡特勒被人引見去拜望富蘭克林。那是個下午，富蘭克林在他自己的家裏。來訪者見到了富蘭克林，發現他是“一位矮而胖的老人，身著一套教友會教徒的樸素的服裝，禿頂，有短短的白頭發”，沒有戴帽子，和幾個男人和兩三位夫人坐在他家花園的一株桑樹下，其中有一位是他的女兒。見到來人，“富蘭克林從椅子上站了起來，握住我的手，表示見到我很高興，並請我在他身邊坐下。他的嗓音低沉，但他的表情開朗、坦率，令人愉快”。他讀了來人的介紹信，又握了卡特勒的手，並把他介紹給在場的人。
那裏的男人都是製憲會議的代表，在富蘭克林的花園裏坐著談話，一直到天黑，薩拉·貝奇把茶端到樹下來。在卡特勒看來，那些代表們都很喜歡富蘭克林。他還提到富蘭克林在給那些人講一個關於兩個頭的蛇的故事。
天黑以後，富蘭克林把人們領進了他的書房，卡特勒認為那是“美國最大、也是最好的私人圖書館”。
卡特勒還參觀了他的一些“古董”：一架玻璃機器，展示著人體內動脈和靜脈中的血液循環，富蘭克林發明的用來複寫信件的滾筒印刷機；還有他的長長的人工胳臂和手可以從高高的書架上取書或放書；他的巨大的有扶臂的搖椅，一把大扇子在它的上方，那是他用來扇涼、趕蒼蠅的。在他的壁爐架上，有一大堆的獎章、胸像和一些蠟像、石膏像。……
他和卡特勒談哲學特別是自然哲學、哲學史，一直談到10點。富蘭克林知識的廣博、風度、舉止都給卡特勒留下了極深的印象。
製憲會議開了兩個多月時，有人認為行政被列為第二位是貶低了它。發言不多的富蘭克林在7月26日指出，“這樣的觀點和共和的原則是背道而馳。在自由的政府裏，治理者是仆人，人民居於其上，是主人。”
8月9日，他又對外國人任公職發表了看法。他認為外國人在美國任公職不應需要居住14年之久，像製憲會議上提出來的那樣。因為一些外國人在美國曾服務得很出色，而一些土著人卻加入了反對祖國的行列。
10月，他又發言反對任公職者的財產資格，因為誠實並不是和財富相伴而來的，能力也不是財富的產物。
9月17日，星期一，是最後簽署憲法的日子。在秘書準備好文件後，富蘭克林起身發言，也就是請人讀他的發言稿：
“我承認，這一憲法中的幾個部分我目前還不讚同，但我不能肯定我永遠不會讚同；因為，活了這麼久，我經曆過許多事例，那是關於在得到更好的信息或經過更充分的考慮後改變看法的事實，即使是在重大的問題上也是如此。往往我以為是正確的，但卻發現是另外一回事。所以我年紀越大，就越懷疑自己的判斷力，而注意他人的判斷。……
“以這樣的觀點，先生，我同意這個憲法，連同它的一切缺陷，……總之，先生，我不禁表達了一個願望，希望製憲會議的每一位成員（他可以對它還有反對意見）和我一道，在此時此刻……在這一文件上署名，以表明我們的一致。”
然後，富蘭克林動議簽署憲法。
在最後一刻，華盛頓提出了把4萬居民產生一名議員改成3萬，獲得一致通過。於是，秘書當下就把這一數字改了過來。
對富蘭克林的動議，製憲會議表決通過簽署憲法。對當時的情景，麥迪遜寫道：
“在最後的一些代表簽名的時候，富蘭克林博士注視著主席的椅子。那椅背上碰巧漆著一輪太陽，他向幾位走近他的代表評價著說，那漆匠發現難以用他的手藝區分開一輪旭日和一輪落日。他說：‘我經曆了太多太多的這些議程和我對發布的這些文件的希望和擔憂的變遷，看著主席身後的太陽，我不能辨別它是升起還是落下。但是現在我終於有幸知道那是一輪旭日，而不是殘陽”。
富蘭克林終於有信心將美國的這部憲法比喻為東升的旭日了，他參與了將這輪紅日托出海麵。這是他的老邁之軀為他所熱愛的祖國作出的最後一大貢獻。
次日上午11點，賓州代表出現在州議會會場上，富蘭克林向議長發布了聯邦憲法簽署了的消息。聯邦憲法在賓州獲得批準。
9月21日，賓州立法會議開會。到12月12日，批準了憲法。13日，這一批文正式在法院公布，賓州政府的所有官員列隊從州政廳出來，然後又走回去，完成了慶祝典禮。
富蘭克林9月17日關於憲法的講話後來被人不顧會議的保密規定而將它印發了。有人認為這篇講話調子低沉，像是一份沉痛的離開政治生涯的告別辭。是的，不論其內容如何，從富蘭克林的生活曆程看，它的確是他告別政壇的臨別演說。
富蘭克林又回到了費城的政治生活中來，但是他的身體已經不允許他再為他的故鄉增添光彩了。