一條碧清的小溪邊，有一所又小又破的屋子。牆壁早就穿了許多窟窿，風和太陽光月亮光可以從這些窟窿自由出進。柱子好像酥糖一樣又粗又鬆，因為早有蛀蟲在那裏居住。鋪在屋麵上的稻草早成了灰白色，從各方吹來的風和從雲端裏落下來的雨，把原先的金黃色都洗掉了。屋子的倒影映在小溪裏，快樂的魚兒都可以看見。月明之夜，屋子的影子站在小溪邊上，半夜醒來的小鳥兒都可以看見。
這所又小又破的屋子裏，住著祥兒和他的母親。祥兒的父親臨死的時候，什麼事兒也沒囑咐，隻指著掛在牆上的胡琴斷斷續續地說：“阿祥，我沒有什麼可以傳給你，隻有這把胡琴。你收下吧！”祥兒不懂他父親說這話是什麼意思，他的母親卻傷心得哭不出聲音來了。就在這時候，他的父親咽氣了。
這把胡琴是祥兒的父親時常拉著玩兒的。本來青色的竹幹，因為手經常把握，變得紅潤了；塗鬆香的地方經常被弓摩擦，成了很深的溝；繃著的蛇皮也褪了色。繁星滿天的夏天的夜晚，清風吹來的秋天的夜晚，他父親就拿這把胡琴拉幾支曲子。在種田累了的時候，在割草乏了的時候，他父親也要拿這把胡琴拉幾支曲子，正像別的農人在休息的時候一定要吸幾筒旱煙一個樣。就是極冷的冬天，白雪像棉絮一般蓋在屋麵上，鳥兒們緊緊地擠成一團，也可以聽見從屋子裏傳出來的胡琴的聲音。
父親的棺材被抬出去了，胡琴還掛在牆上。風從牆壁的窟窿吹進來，隻見胡琴在輕輕地左右搖擺。陽光和月光射進來，胡琴的影子映在牆上，像一把舀水的勺子。祥兒看著覺得很有趣，胡琴好像充滿了神秘的味道。
母親織了一會兒草席，指著牆上的胡琴說：“阿祥，爸爸把這東西傳給了你，你要像爸爸一樣會拉，我才喜歡呢！”祥兒不大明白母親的話，隻是對著牆上的胡琴發呆。吃飯的時候，母親又指著牆上的胡琴說：“阿祥，爸爸把這東西傳給了你，你要像爸爸一樣會拉，我才喜歡呢！”祥兒還是對著胡琴發呆。早上，祥兒在母親的懷裏醒來，母親又教訓他說：“阿祥，爸爸把牆上那東西傳給了你，你要像爸爸一樣會拉，我才喜歡呢！”
直到祥兒滿了四歲，母親從牆上取下胡琴來，交在他手裏。母親說：“現在你可以拉這個東西了。我希望聽到你拉出好聽的調子來，跟你爸爸拉的一個樣。”
祥兒雙手握著胡琴。這是天天見麵的老朋友，可是怎麼拉法，他一點兒不懂。他移動了一下胡琴的弓，胡琴發出鋸木頭一般的聲音。他把弓來回地拉，跟木匠師傅鋸木頭一個樣。母親看著他，臉上現出笑容，她稱讚說：“我的兒子真聰明！”
拉動胡琴上的弓，成了祥兒每天的功課。他不但在家做這功課，走到小溪邊，走到街道上，也一樣做他的功課。打魚的老漢正在溪邊下網，譏笑他說：“跟鋸木頭一個樣，拉得比你爸爸還好聽哩！”蹲在埠頭洗衣服的老太太也譏笑他說：“叫化子胡琴，也算接過了你爸爸的手藝麼？”街道上的孩子們追趕著他說：“難聽死了，難聽死了，不如把胡琴送給我們玩吧！”祥兒不管他們說些什麼，隻顧一邊拉一邊走。
祥兒走到沒有人的地方，周圍都是高山，山下都是樹林，他拉動弓，自己聽著胡琴發出來的聲音，覺得很快活。忽然聽到有個聲音在喚他：“小弟弟，想拉好聽的調子麼？我可以教你。”祥兒四麵找，一個人也沒有。是誰在說話呢？正在疑惑，那個聲音又說：“小弟弟，我在這裏。你低下頭來就看見我了。”祥兒低下頭看，原來是一道清澈的泉水，活潑潑地流著，唱著幽靜的曲調。水底有許多五色的石子，又圓又光滑，可愛極了。
祥兒高興地回答說：“泉水哥哥，你肯教我，我非常感激。”泉水說：“你聽著我的曲調，把胡琴和著我的調子拉吧。”祥兒側著耳朵聽，很能懂得泉水用它的曲子講的什麼話，就拉動弓和著，胡琴不再發出鋸木頭的聲音了。胡琴的聲音緊跟著泉水的曲調，後來竟合成一體，分不出哪是泉水的哪是胡琴的了。祥兒和泉水都高興極了，隻顧演奏，忘記了一切。後來泉水疲倦了，對祥兒說：“小弟弟，你拉得很好了。我想休息一會兒，明天再見吧。”泉水的調子越來越輕，最後它睡著了。祥兒離開了泉水，向前走去。