少林寺始建於北魏太和十九年（公元495年）由孝文帝元宏為安頓印度僧人跋陀而依山辟基創建，因其座落於少室山密林之中，故名“少林寺”。北魏孝昌三年（公元527年）釋迦牟尼的第二十八代佛徒菩提達摩曆時三年到達少林寺，首傳禪宗，影響極大。因此，少林寺被世界佛教統稱為“禪宗祖庭”，並在此基礎上迅速發展，特別是唐初十三棍僧救駕李世民後得到了唐王朝的高度重視，博得了“天下第一名刹”的美譽。少林寺包括少林寺常住院、塔林、初祖庵、二祖庵、達摩洞、十方禪院、武術館等主要建築群。
少林寺的曆史久遠，印度名僧菩提達摩來到少林寺傳授禪法。以後，寺院逐漸擴大，僧徒日益增多，少林寺聲名大振。達摩被稱為中國佛教禪宗的初祖，少林寺稱為禪宗的祖庭。禪宗修行的禪法稱為“壁觀“，就是麵對牆壁靜坐。由於長時間盤膝而坐，極易疲勞，僧人們就習武鍛煉，以解除身體的困倦。因此傳說少林拳是達摩創造的。少林寺在唐朝初年就揚名海內。
少林寺落成三十多年後，即北魏孝昌三年，菩提達摩不辭艱辛，從南天竺國渡海來到東土，開始了禪宗在中華大地上的傳播。
人們說起禪宗時，往往會用一派“本地風光”來表達對禪宗的印象。佛教的文化淵源在印度，而禪宗是獨具中國特色的佛教宗派，它的文化淵源在嵩山，在被譽為“禪宗祖庭”的少林寺。
達摩首先到了金陵，一月之後來到永寧寺，隻見那九級浮屠“金盤炫日，光照雲表；寶鐸含風，響出天外；歌詠讚歎，實是神功”，自稱活了一百五十歲，周遊列國，從未見過如永寧寺這般精美的寺院。於是，達摩口唱南無，合掌讚美不停，已經將心許與嵩洛。
離開永寧寺，達摩來到幾十裏外的嵩山少林寺，落跡於此，終日麵壁。麵壁似乎是一種追根溯源，也似乎是一種等待良機。
這時候嵩山有位名叫神光的僧人，聽說達摩大師住在少林寺，於是前往拜謁。
達摩麵壁端坐，不置可否。神光沒有氣餒。他暗自思忖：“古人求道，無不曆盡艱難險阻，忍常人所不能忍。古人尚且如此，我有何德何能？當自勉勵！”時置寒冬臘月，紛紛揚揚飄起漫天大雪。夜幕降臨，神光仍在寺外站立不動，天明積雪已沒過他的雙膝。達摩這時才開口問道：“你久立雪中，所求何事？”神光淚流滿麵說道：“隻願和尚慈悲，為我傳道。”達摩擔心神光隻是一時衝動，難以持久，略有遲疑。神光明白達摩心思，就取利刃自斷左臂，置於達摩麵前。達摩於是就留他在自己的身邊，並為他取名慧可。少林寺內的立雪亭，便是為紀念慧可斷臂求法的事跡而建。
達摩禪師以四卷《楞伽經》授予慧可，慧可就是日後禪宗在東土的第二代祖師，自此，禪宗在中國有了傳法世係。
禪宗在其誕生地印度沒有成宗，卻在傳入嵩洛後，成為中國佛教延綿不斷的主流宗派。禪宗流傳久遠的重要原因之一，是其教義和修行方法的簡單易行。教內傳法的過程中難免會產生教條化、形式化的弊端，隻重考據文字而不重把握精神，會喪失教義的靈魂。針對這種偏頗的傾向，禪宗提出了“教外別傳，不立文字，直指人心、見性成佛”的宗旨。所謂“教外別傳”，是指在教典以外別有一種教義的傳授方法。禪宗的簡易性，便體現在“見性成佛”的主張上。
禪是“靜慮”，佛教稱安靜地深思為禪定。達摩提出一種新的禪定方法，否定了印度佛教那一套修行的階梯層次和累世修行，主張人人都具有佛性也就是“本性”，人人都先天地具有成佛的智慧也就是“菩提”，人人都能夠通過覺悟佛性而成為佛，盡管何時豁然大悟難以料定。眾生之所以未能成佛，是因為對自身的本性沒有覺悟。一旦“撥開迷霧見青天”，明心見性，自性就是佛，把佛變為舉目常見的平常人。