貝多芬的故鄉原本在法國與比利時交界處的弗朗特，直到他的曾祖父時才移居到德國波恩。貝多芬的曾祖父米勒爾·凡·貝多芬，於1664年出生在弗朗特的貝多芬村，貝多芬的姓氏就是根據這個村名而來的。曾祖父在貝多芬村開了一家麵包店，賺了不少錢。可惜好景不常，生意失敗了。後來，他帶著兒子克路隆斯與路德維希來到波恩。
貝多芬的父親是路德維希的兒子，他出生於1740年，喜愛音樂，與貝多芬的祖父路德維希一樣在宮廷裏當歌手。1770年12月16日，貝多芬出生於德國萊茵河畔的波恩市。貝多芬出生的時候，祖父高興地說：“這個孩子就用我的名字叫路德維希吧。”所以貝多芬的全名是路德維希·凡·貝多芬。貝多芬一直保存著祖父路德維希的肖像。
祖父在貝多芬眼中是一位慈祥的老人，但是在貝多芬3歲生日後不久，他就與世長辭了。如果祖父的壽命長一些的話，貝多芬的命運也許就不是這個樣子了。
幼年時期，在貝多芬的腦海中保留下的記憶有：笑容可掬的祖父、天天忙碌的母親、嗜酒如命的父親。貝多芬的父親是個自私的人，喜歡喝酒，常常讓貝多芬的母親陷入痛苦中。貝多芬的母親是一個宮廷廚師的女兒，在年輕時曾結過婚，不久丈夫過世了，後來才嫁給貝多芬的父親。
貝多芬的外婆曾極力反對這門婚事，她不願女兒嫁給酗酒的人，她是在女兒結婚半年後逝世的，臨死前還一直牽掛著女兒的幸福。
祖父去世以後，貝多芬全家的花費就全靠他父親一人在宮廷演奏所得的菲薄薪金，所以生活非常不好。在這段時間，母親又生了弟弟卡斯帕和約翰。
三個幼小的孩子，一個酗酒的丈夫，貝多芬母親的辛苦可想而知。貝多芬的父親除了當宮廷樂師外，還兼任家庭音樂教師，但是父親任性而嗜酒，害得別人不敢再請他當家教。
父親希望貝多芬成為一個音樂家，於是在他4歲時就開始讓他學鋼琴。“知道嗎？莫紮特在你這個年齡時，已經學鋼琴了，現在他已經成為著名的音樂家，到處開演奏會。”父親總是這麼對貝多芬說。
的確，當時莫紮特還隻是個十幾歲的少年，但已被認為是著名的鋼琴家，他與他的姐姐在德、奧、意、法等國開音樂會，收入相當豐厚。貝多芬的父親也想把貝多芬訓練成音樂神童，要他開演奏會賺錢，所以對貝多芬的練琴要求很嚴格。
當時，貝多芬的年紀還小，很想和鄰居家的小朋友一起到小溪邊抓魚，到野外捕蝴蝶、蜻蜓等，可是他的父親卻從不允許他這麼做。他整天盯著貝多芬練鋼琴，有時晚上喝醉酒回家，還叫醒貝多芬練琴。像這樣艱苦的練琴，使幼小的貝多芬不得不處處逃避，父親更是以打罵強迫他。母親有時看了不忍，保護著他，可是父親卻罵道：“我是音樂家，我想怎麼教育孩子就怎麼做，你少囉嗦。”
鄰居也說：“太可憐了，路德維希才4歲，即使要做音樂家也不應該這麼折磨孩子啊！”
有人還當麵勸他的父親，但是父親從不理會，反而對貝多芬的要求更加苛刻，一彈錯就大聲責罵。每當練完琴，貝多芬就到廚房找媽媽，她總是默默地抱著可憐的小貝多芬。
直到上了小學，貝多芬才真正地鬆了口氣，至少在學校中，可以脫離練琴的夢魘。貝多芬常常逃開父親的嚴密監視，跑到閣樓上眺望美麗的波恩街。他站在床邊遙望街道、廣場上玩遊戲的小孩，想著自己如果也在其中該有多好，但這是不可能的。