在很久以前，有一個叫詹姆斯的孤兒。在他四歲的時候，父親和母親就先後得病離開了他。
小詹姆斯一個人生活了一個多月之後，那些街坊鄰居就看不下去了，因為詹姆斯實在是太可憐了，於是就叫他的兩個姨媽（海綿團姨媽和大頭釘姨媽）把他接回去。一開始，兩位姨媽是不想收留他的，但想到以後可以把小詹姆斯當奴役使喚，自己可以清閑點，於是兩位好逸惡勞的姨媽帶著壞心眼把小詹姆斯帶回了家。
小詹姆斯在姨媽家的生活十分艱苦，他沒有朋友，也不能上學，每天幹活到很晚，如果姨媽們覺得不滿意，還要落得一頓毒打。他睡覺的地方也很簡陋—在樓梯的下麵用木板簡單地圍了起來，裏麵的家具破爛不堪，甚至稱不上是家俱——一張斷了腳的書桌（被詹姆斯用釘子釘了起來）、一個老的發黃的書架（裏麵有幾本缺章少頁的書）、一張很小的單人床（被子裏麵的棉絮馬上都要跑出來了）。條件雖然如此惡劣，但小詹姆斯每天還是要堅持看書，以充實自己！
有一天，小詹姆斯又因為一件事情沒做好，被姨媽趕了出來，並不準他晚上回來吃飯。小詹姆斯在路上漫無目的地走著，他餓了，於是來到他常來的一個樹林裏（小詹姆斯被罰沒飯吃時，就來這片樹林找野果子吃）。
樹林裏平常沒什麼人來，因為大家都說裏麵有吃人的怪獸。小詹姆斯卻不以為然，因為這個地方充滿了神秘，而且也能填飽自己的肚子。小詹姆斯一邊走一邊吹口哨，樹上的鳥兒好像也聽得懂詹姆斯的聲音，隨他一起唱了起來。
漸漸地，天開始變黑了，皎潔的月光穿透樹枝的縫隙，照射到樹林裏，景色真是美極了。這時，遠處一片草地上似乎有什麼東西發出了和月亮一樣微弱而又迷人的亮光。小詹姆斯跑了過去，想一探究竟，原來那一團亮光是一位個子很矮、胡須很長的老爺爺發出的。
老爺爺自稱是一位神仙。小詹姆斯很有禮貌地向這位老爺爺問好，老爺爺說詹姆斯很勇敢，於是送給詹姆斯一把紫色的種子，說這些種子能讓他得到幸福。小詹姆斯很高興，向老爺爺道謝後，飛快地跑出了樹林（其實那一刻小詹姆斯也很害怕）。
回去之後，小詹姆斯不敢把這段經曆告訴兩位姨媽，但又不知道這些種子怎麼使用，於是把這些種子全部放在了懷裏。院子裏有一顆桃樹，但這顆桃樹從來不開花結果。
有一天，小詹姆斯在桃樹周圍幹活時，不小心摔了一跤，種子全部掉了出來。一下子種子好像消失一般，全部不見了。小詹姆斯沮喪極了，因為種子已經全部消失了，他覺得自己不會幸福了。過了幾天，從來不結果的桃樹突然長出一顆桃子來。
桃子沒完沒了地長，慢慢地長到兩層樓那麼高。小詹姆斯的兩個姨媽很高興，於是就把桃子周圍圈了起來，開始收門票以供大家參觀。當然，到了晚上，看守桃子的工作，還是由詹姆斯來做。當他坐在桃子旁邊的時候，發現桃子上居然有個洞，詹姆斯爬了上去，發現原來是一條隧道。詹姆斯又發揮了他那種勇於探險的精神，他慢慢地穿過隧道，一直爬到桃子的中心——桃核。桃核上有很多整齊的小門，每一扇門裏麵都有光透出來，詹姆斯依次敲門，想向裏麵的人打招呼。
門打開之後，詹姆斯嚇了一大跳，門裏麵站的都是跟他一樣大小的昆蟲——蜈蚣、蚯蚓、螢火蟲、瓢蟲、蠶、蜘蛛和綠色老蚱蜢。當然，昆蟲們一開始也被詹姆斯嚇了一大跳，他們也是第一次和人類近距離接觸過。在相互了解後，昆蟲們並沒有攻擊詹姆斯，而是請詹姆斯到房間裏麵休息休息，他們都想和這位小人交朋友。