1890年之後，洛克菲勒在紐約住的時間更長了。他始終想找一個可供他度假、休息的地方。終於在1893年，他在紐約北泰利城的小鎮買了一幢房子。它位於哈得遜河與其支流的分水嶺上，是一幢兩層的木頭樓房，四周有洛克菲勒喜愛的寬闊回廊，因坐落在小山坡上，所以視野很廣，尤其在西麵的陽台上可以看見絢麗的哈得遜河風光。屋內的布置是洛克菲勒向來喜愛的簡單舒服的式樣。買下這幢房子之後，洛克菲勒無形中給自己帶來許多工作：他連續購得四周的土地，忙著掃除房子、鋪路、砍樹木等等。直到把整個庭院擴張到一千六百畝才停止。他在日後的回憶錄上寫道：“我十分喜愛這所老房子，它四周的風景如畫，可以陶冶性情，還能使我們清靜又安逸地享受餘年。”
這幢房子就是在回憶中常提到的波甘狄克小屋。
不幸的是，房子在1902年毀於一場大火，洛克菲勒雖時常掛念著要重建，但總是拖延。小洛克菲勒知道父親不喜歡過問建屋的細節，就替父親請建築師設計一所理想的住所。當設計師把畫好的藍圖呈給洛克菲勒時，他又遲遲不采取任何行動。小洛克菲勒了解父親的心情，他日後對人說：“父親不喜歡大房子，怕管理上麻煩；但他又不肯改小，怕改小了以後孫兒孫女來了以後沒有地方住。”
於是，小洛克菲勒又命建築師改變藍圖，把房子改得大小適中，有足夠的房間可以接納親友，又不會大得管理困難。這樣一來，洛克菲勒馬上就點頭，命人快速興建了。
小洛克菲勒夫婦擔任起監工和布置的工作。室內的布置原則上要美觀、大方而簡單。小洛克菲勒對裝潢師說，要讓貧苦的人到走進寓所時感覺到親切溫暖，同時，要讓顯達的人踏入該區時覺得高雅大方。於是，設計師就抓住這條原則，把簡單和美觀融合在一處。但真正令洛克菲勒振奮的是不停擴建的庭院，他可以隨心所欲地在這三千畝土地上開路、植樹、造假山，這讓他覺得十分滿意。
洛克菲勒在新居種了成千棵的常青樹，當他後來在新澤西買下一個高爾夫球場，把球場改建成住宅時，自己曾利用樹做了一次小生意。他把種在波甘狄克每株隻值一毛或五分的小樹以一塊半、兩塊的價錢賣給他的新居。他對人提起他在新居上砍樹的經驗，總不能掩飾他的驕傲：“我們的伐樹工人是自己人，工具也是自己做的。如果你一旦了解樹的性情，你會發現是多麼容易左右這棵樹。我們曾經砍過九十尺高的樹，還砍了許多七八十尺高的……最令人難忘的是那棵巨大的馬蹄樹。我們都保留砍下的樹，把每棵放在一定的距離，有些樹還正在開花呢！每棵都可賣二十元，根本沒有賠本。”
洛克菲勒老年時喜歡園藝的工作，喜歡裝飾庭院、修剪樹木。他常常驕傲地告訴客人哪些是他栽種的樹，哪些是他鋪的路，他的下屬也都誇讚他為園藝家。他不停地美化庭院、鋪小路以方便行人，築高牆擋住鐵路。他退休之後，總是從早到晚的在院子裏摸索，種小樹、砍大樹、鋪路、修路等，總要忙到太陽下山，黑漆漆的不見五指才拖著疲憊不堪的身子回家。
運動方麵，洛克菲勒退休之後仍喜歡溜冰、騎馬和騎自行車。但過了六十歲就不再騎快馬了，波甘狄克馬廄中的馬之後就讓給兒媳孫兒騎了。他們老夫婦隻有在星期天下午才在院子裏騎著兜圈子，兩人追逐嬉笑，非常逍遙。
退休後的洛克菲勒雖然體力上不減當年，但對文藝方麵的興趣仍然很淡。他偶爾會跟太太去聽聽音樂會，或到弟弟經營的歌劇院的包廂裏去看歌劇，除此以外很少參加任何文藝活動。他仍不愛看小說，隻有在晚間休閑時刻，聽洛克菲勒夫人朗讀幾段精彩片段。他很少津津有味地看任何文學作品。唯有《聖經》是他每天必定閱讀的書。除此而外，他最常接觸的就是報紙雜誌和宗教性的書籍。