洛克菲勒退休之後，幾乎將全部的精力都用在發展慈善事業上。他曾參與創辦大學，成立醫學院、醫學研究中心，並創辦普及教育委員會。在20世紀初期，因為美國的富足與進步，不但在世界上居於領導地位，還因此帶來很好的國際關係。美國的富強更顯出小國的貧弱，因此美國的慈善事業有逐漸發展向外接濟的趨勢。洛克菲勒因為在各地經商，於各地賺得大量的財富，在問心有愧的情況下，亦想開始援助海外貧困人士。在1905—1910年不斷與朋友計劃，此一構想就促成了日後“洛克菲勒基金會”的成立。
有辦芝加哥大學及普及教育委員會的經驗，洛克菲勒認為他可以將大學資金交給獨立的董事會，讓董事會中有才幹有魄力的人去發展慈善事業，而無需他本人過問任何小節。在創立上述機構時，洛克菲勒認識了幾位傑出的人才，頗值得信賴並能協助他策劃及實行各項目標，這幾位日後在“洛克菲勒基金會”效勞的是凱特、布傑克、費爾諾及羅斯。
人才雖多，但草擬創議的仍是聰明而有魄力的凱特。他曾在1905年6月寫了一封信給洛克菲勒，信上很詳細地提到他對於造福世人、援助海外貧困人士的一些想法：我已為您龐大的財富工作了15年，為了它，我曾花費不少心血，想盡辦法好好地去善用它。我不可能不想到最後我們要如何花這筆財富。我常想到，您要趁您及您的子孫在世的時候，好好地將這筆財富用在有永久性質的慈善事業上，以造福世人。這是一件說起來容易，辦起來困難的事。我們必須要先確定三點：第一，我們要申明人類的需要及人類的定義。
第二，我們要如何安排合適又能幹的人來擔任這項工作，不但目前我們需要他們，世世代代以後，我們仍需要這些人。
第三，我們要清楚了解人類哪一方麵的進步才是真正重要，且能因此而引來更多施善的好心人，捐贈合法的基金。
凱特繼續建議：在國外，他主張推廣世界性的醫學研究及全球性的基督教義以推進人類身體及心靈的健康。在國內，他認為同時提高高等教育的水準、改善都市居民生活及訓練人民的公德水準和提高人民素質。
創辦基金會的念頭，經常縈繞在洛克菲勒父子心頭，一有空閑，他們兩人就談論各種的計劃。 1906年，在小洛克菲勒寫給父親的信中，有一段提及：想把托拉斯中的一部分資金投到慈善事業上，專門用來接濟貧困的大眾，改進教育，發展科學及傳播宗教。
小洛克菲勒雖知父親有心捐贈，但此次計劃太龐大，包括的東西不盡相同。小洛克菲勒覺得最困難的一點是如何網羅各方麵有才能的人，使他們共聚一堂，同心合力地工作。他每想到此，就有些望而卻步，於是一個會議接著一個會議，父子兩人都想找出一個完美的辦法。尤其是洛克菲勒，幾十年來他的作風未曾改變，凡事在未決定之前都小心謹慎地慎重考慮，等到一旦決定後從不拖泥帶水，迅速地將事情解決，這次也不例外。
等到1909年6月19日想好成立的辦法之後，馬上從“標準石油公司”的證券中提出五千萬美元作為資金，存在三位受托人——凱特、小洛克菲勒及麥康密克的名下，作為促進人類幸福及文明的資金。然而洛克菲勒堅持要等到聯邦政府的特許之後，基金會才可以開始工作。於是1910年，親家阿爾因奇參議員將此案送進國會。
議案送進國會之後，不但沒有很快地如期通過，反而招來一身議論。各州的政治家都提出反對，有些人認為隻要洛克菲勒出麵必有其他企圖，像芝加哥的《海洋雜誌》很幽默地寫道：“哪怕是洛克菲勒要把全部財產捐贈給政府的議案，也沒人肯通過的。”