盡管皮爾龐特的風流韻事層出不窮，但這些與他真正著迷的東西——藝術品收藏相比，花的時間與興趣都少得多。朱尼厄斯去世以後，皮爾龐特得到了一本薩克雷的手跡和幾件埃及古董。後來他的收藏品隨著他銀行利潤的增長而激增。他主要收藏書籍、手跡和英國皇室的書信，把它們儲藏在麥迪遜大街住宅的地窖裏。很快它們就在凳子上堆滿了，而他自己也記不清什麼在哪兒了。其他的一些作品則堆在華爾街23號的地下室和東四十二街的一個倉庫裏。1900年，他買下了在東三十六街他住宅附近的房子，請來設計師查爾斯·麥金為他的收藏品建一座圖書館。麥金建造了一座意大利文藝複興時代的宮殿，具有縹緲而平衡之美。大理石塊鑲得非常好，根本就沒用任何黏合物——這是麥金不惜千金從希臘人那兒學來的絕招。皮爾龐特在1906年搬進該圖書館後，把富麗堂皇的西廂房作為他的辦公室，牆上掛著從羅馬基吉宮弄來的深紅錦緞。角落裏的一扇門通往地下室，壁爐上方掛著朱尼厄斯的肖像。這所圖書館的綽號是J.P.摩根公司住宅區分公司。為了給這些收藏品編目錄，皮爾龐特於1905年雇了個年輕漂亮的女人，名叫貝勒·達科斯塔·格林。她隻有22歲，然而她對普林斯頓圖書館的珍本書的知識給皮爾龐特的侄子留下了深刻的印象。她是一個破裂婚姻的產物——她在新澤西由母親養大，母親是位音樂教師——沒有上過大學。她有著黑黝黝的皮膚、綠色的眼睛，活潑可愛。她的皮膚實在太黑，她自己也逗樂說她有"葡萄牙人的血統"。或許她真有點黑人血統。貝勒·格林聰明過人，異常自信。她後來遠不止是皮爾龐特的圖書管理員：她是他的知己、誠摯的異性朋友，也可能是情人。她給他念狄更斯的著作和《聖經》，並且在1907年大恐慌期間他通宵達旦地開會時，她一直在圖書館侍候他。
如果說這位金融家喜歡潑辣的女人，那麼貝勒·格林超過了她所有的對手。當一個木材大亨向她求婚時，她發回一封電報說："所有的求婚都會在我50歲生日以後按字母順序加以考慮。"64她大膽地讓人給她畫裸體畫，並且喜歡波西米亞式的自由。她還是哈裏曼家族與洛克菲勒家族的座上賓，在跟著摩根出差時，經常下榻倫敦的克拉裏奇飯店和巴黎的麗茲飯店。她也是個冒險家，有一次她告訴助手："如果一個人是一條蟲，你就可以踩他。"65即使在她作為皮爾龐特·摩根圖書館的館長而出名之後，她仍然像她的老板一樣神秘，從不當眾演講，或接受任何名譽稱號。跟皮爾龐特一樣，她在1950年去世前燒掉了她所有的信件與日記。
在貝勒·格林身上，皮爾龐特對女人和藝術的迷戀得到了統一。他們之間的關係中有些性色彩。她與鑒賞家伯納德·貝倫森相好了四年，她堅持一定要保密，不要引起皮爾龐特的忌妒。她作為圖書館館長忙裏忙外，穿著文藝複興時期的袍子，揮動著她綠色的絲綢手絹，並且代表皮爾龐特參加藝術品拍賣。大亨與圖書館館長之間46歲的差距似乎並沒有關係。她在皮爾龐特死去後曾說："他幾乎是我的父親，他總是富於同情心，善解人意，信心十足，對我信任有加。這一切超越了我們年齡、財富、地位的距離。"66她對摩根家族的很多成員來說都是個重要的人物，後來她對傑克的吸引力絲毫不亞於對皮爾龐特的吸引力。
皮爾龐特最終成為他那個時代、或許是任何時代裏的最大的私人藝術品收藏家。他收藏拿破侖的表，達·芬奇的筆記本，葉卡捷琳娜二世的鼻煙盒，美第奇家族的珠寶，莎士比亞的《第一對開本》，喬治·華盛頓的一封5頁長的信，印有11位羅馬皇帝頭像的硬幣。皮爾龐特對印象派和現代美國藝術家不感興趣，而喜歡因年代久遠而神聖化的歐洲藝術品和曆史悠久且有浪漫主義色彩的曆史文物。這位老派銀行家的確喜歡古老藝術家的作品，非常珍視其精湛的工藝與昂貴的材料。然而畫隻占他收藏品總數的5%以下。他喜歡掛毯、鑲寶石的書、鍍金的祭器、首字母加飾的手稿、金杯銀杯、瓷器和象牙。在重視裝飾藝術上，他步了羅斯柴爾德家族與美第奇家族及其他商業巨子的後塵。他對他的收藏品充滿了自豪，並且為它們印製私人目錄，發給歐洲的皇室貴族。銀行家摩根在人們眼裏也是收藏家摩根，他在這兩方麵的風格完全一致。他討厭討價還價。他愛上來就問交易商花了多少錢買進，然後在這上麵加10%到15%就成交。有人回憶說皮爾龐特在給外彙開價時就是一副要買就買，不買拉倒的架勢。在藝術與金融上，他對交易商的重視就像對交易本身一樣重視。弗朗西斯·亨利·泰勒研究過摩根作為收藏家的習慣。他寫道："當有人想要賣東西給他時，有人說他不是在看東西，而是在看人家的眼睛。這就是他爬上金融高峰的原因，這個辦法還挺奏效。"67為了保護自己的利益，他附有條件買下一幅畫，把它放在椅子上，請別的一些交易商自由評論，然後才完全買下。有一次，為了測試藝術交易商約瑟夫·杜維恩對中國瓷器的知識，他一字排開5個瓷器，然後告訴他："有3個是真的，現在請告訴我哪些是真的。"杜維恩拿起手杖就把兩個假的砸得粉碎。68這位美國鋼鐵公司的教父知道要收集大批藝術品，他必須成批購買或把別人的收藏品整個買下。他以貨車轉軌的氣勢橫掃藝術曆史。他在給姐姐瑪麗·彭斯的信中說："希臘古董我已收集得差不多了，現在我正搞埃及古董。"69他的決心令人生畏。為了從拜倫勳爵在希臘的一位親戚那裏搞到拜倫的手稿，他派了一個代理長駐在那兒，懷揣他的信用證。這個孤獨的哨兵守在那兒好幾年，拜倫的手稿一上市他就去買，直到將它們全部買下。