據說，他們這支樂隊最初組建的時候，偶然發現地下室的地上掉著一塊舊絲絨，隨手就給自己的樂隊起了這個名字。沒想到這個名字日後一下子成為了經典。
當然，這隻是傳說而已，明顯帶有演繹的色彩。不過，“地下絲絨”這個名字確實很好聽，很容易引起人們的想象和聯想，而且是歧義的想象和聯想。有人說是唯美，有人說是性感……不管怎麼說，和樂隊風馬牛不相及。
地下絲絨應該感謝安迪·沃霍爾（Andy Warhol）。這位上世紀中葉影響了一代人的波普藝術大師，既是一位畫家，又是一位電影導演，多才多藝。他所發明的絲網印刷術，將照相的照片印在畫布上，出現極其意外的效果。在上個世紀的六十年代，沃霍爾創作了一係列的水果、可樂瓶以及瑪麗蓮·夢露、伊麗莎白·泰勒等明星的圖像作品。這是一種新型的美術創作，它們以十分濃豔誇張的色彩，對當時乏味平庸的文化進行了波普式的批評，這叫做以子之矛攻子之盾。這些作品因為別具一格而又符合世俗的心態在當時非常流行。沃霍爾主張流行，他有句名言：“每個人都有機會流行十五分鍾。”這句和我們中國“各領風騷兩三年”有著異曲同工之妙，表達了他對流行文化的態度和他對流行文化與群眾關係的認識。（沃霍爾的名氣和地位當時和以後都非常顯赫，他死後，一九九四年以他的名字命名的沃霍爾博物館在他的家鄉匹茲堡開放。）
一九六六年，後來成為了地下絲絨的兩位主將魯·裏德（Lou Reed）和約翰·凱爾（John Cale），在紐約的Bizarre咖啡館裏和這位大師意外相遇。
當時，魯·裏德是一位古鋼琴家，約翰·凱爾是一位小提琴手兼古典理論的作曲家，他是獲得了當時有名的伯恩斯坦獎學金，從英國威爾士專門來到美國學古典音樂作曲的。也就是說，他們兩人起初都是古典音樂的追隨者，如果不是和沃霍爾相遇，他們大概很難走進流行音樂的領域。當然，從另一個側麵來說，也說明流行和古典並不是那樣水火不容般對峙，搖滾樂起步時文化的含量不低，做搖滾的是一批有音樂素養和思想力量的人，並不是隻是有個啞嗓會彈個吉他知道個三和弦就可以做搖滾，更不是後來隻是靠粗話和吸毒來詮釋搖滾。
魯·裏德和約翰·凱爾那時因音樂而結識有兩年時間，那時他們二十來歲正年輕，兩人常常到咖啡館演唱，一來排遣心緒，二來掙點零花錢。偏偏，他們被沃霍爾碰見了。沃霍爾的眼毒，非常欣賞他們兩人的才華，立刻推薦他們參加了紐約這一年的大型演出，把他們從地下引到地上推到廣闊的舞台，並對他們正兒八經地上了一堂關於流行與古典的認識教育課。沃霍爾告訴他們，藝術不應該以曲高和寡為幌子脫離大眾，古典不應該以貴族自居而鄙夷流行，商業化也不是十惡不赦的惡魔。相反，通過商業化的途徑，可以使更多的人欣賞到藝術的美妙，這樣做不會貶低你們心中藝術的神聖價值。
老謀深算的沃霍爾的這一堂課沒白上，他影響了他們兩人尤其是魯·裏德。因為以後地下絲絨的主要音樂包括作曲作詞都是出自魯·裏德之手。如果說是沃霍爾的春風化雨使得地下絲絨破土而生，並不為過。事實上，也是沃霍爾的鼎力支持，自己出任地下絲絨第一張唱片的製作人，力薦當時女性偶像歌星來自德國的尼可（Nick）加盟地下絲絨當主唱，把這第一張唱片的名字就叫做《地下絲絨和尼可》，並且把自己的那張流行很廣的絲網照片香蕉印在唱片的封套上，黃黃的，很醒目。
沃霍爾一手炮製的地下絲絨就這樣出籠了。
沃霍爾預言：地下絲絨將會比披頭士更有成就。
不過，當時人們沒有理會沃霍爾的話。因為，他們用的樂器也好、錄音的設備也好，實在是太簡陋了，太廉價了，而他們所做的音樂也實在太簡單了，不過就是4/4的拍子，幾個小小的和弦，連梳妝打扮都草草了事，一支曲子就敢往外招呼了。同時，他們的歌詞也太大白話了，現實生活的照搬而已。總之，除了沃霍爾看好地下絲絨，似乎沒有什麼人正眼瞅瞅地下絲絨。人們隻是把絲絨當成了一塊抹布。