家人們答到：“那麼，沒有辦法。無論是怎樣難得的寶物，我們遵命去找求吧。”
大納言看看他們的神情，笑道：“這才對了。我大伴家裏的家人，是天下聞名的，難道會違背我主人的命令嗎？”
於是家人們出門去尋找龍頭上的玉。大納言把家中所有的絹、錦和金子都取出來，交給這些家人，作為他們的路費。又對他們說：“你們出門之後，我就吃齋念佛，直到你回。如果取不到這玉，不準你們回到我這裏來！”
家人們聽了主人的囑咐，一個個懶洋洋地出門去了。他們都想：主人說，如果取不到龍頭上的珠子，不準再回到這裏來。但這東西，根本是取不到的。他們各自隨心所欲地東分西散。眾家人都咒罵主人，說他好奇。他們把主人給他們的東西隨意分配一下。有的拿了東西回家鄉去了。有的隨心所欲地到別處去了。他們都誹謗大納言，說道：不管是爹娘還是主人，這樣胡說八道，叫我們沒有辦法。
大納言全然不知道這情況。他說：“給輝夜姬住的普通的房屋太不象樣。”連忙建造起特殊的房屋來：室內四壁塗漆，嵌上景泰窯裝飾，施以各種色彩。屋頂上也染成五彩，掛上各種美麗的帶子。每一個房間裏都張著美麗無比的錦繡的壁衣。而且把他本來的老婆和小老婆都趕走。無論何事，他都不愛，一天到晚為了準備迎接輝夜姬而忙碌。
且說派遣出去取龍頭上的玉的家人們，不管大納言朝朝夜夜地等待，過了年底，到了明年，一直音信全無。大納言不勝焦灼，便悄悄地帶了兩個隨身侍從，微行來到難波港。看見一個漁夫，便問他：“大伴大納言家的家人們乘了船去殺龍，取它頭上的玉，這新聞你聽到過嗎？”
漁夫笑道：“哈哈，你這話真奇怪！第一，願意為了做這件蠢事而放船出去的船夫，在這裏一個沒有。”
大納言聽了這話，心中想到：“這些船戶都是沒誌氣的。他們不知道我大伴一家的強大，所以講這種膽怯的話。”又想：“我們的弓多麼有力！隻要有龍，一箭便可把它射死，取它頭上的玉，這是毫無問題的。這些家人不決不斷，直到現在還不回來，我在這裏老等，實在不耐煩了。“他就雇了一隻船，向海中到處巡遊，漸行漸遠，不覺來到了築紫的海邊。
這時候，不知怎的，發起大風暴來，天昏地黑，那隻船被風吹來吹去，吹向什麼地方，完全不得而知。風越來越大，把船吹到了海的中央。大浪猛烈地衝擊船身，船被波浪包圍了。雷聲隆隆，電光閃閃。好個大納言，到此也束手無策了。他歎道：“唉！我平生從來不曾吃過這種苦頭。不知道到底怎麼樣啊！”
那個船戶哭著說道：“我長年駕著這船來來去去，從來不曾碰到這種可怕的情況。即使幸而船不沉沒，頭上的雷電也會打死我吧！即使幸而神佛保佑，船也不沉，人也不死，但結果我這船終將被吹到南海之中。唉！我想不到碰著了這個古怪的雇客，看來我的命運是很悲慘的了！”
大納言聽了他的話，說道：“乘船的時候，船戶的話是最可靠的。你為什麼說出這種不可靠的話來呢？”說著，不知不覺地口中吐出青水。
船戶說：“我又不是神佛，有什麼辦法呢？風吹浪打，我是長年以來習慣的。但這雷電交加，一定是你想殺龍的原故。這暴風雨一定是龍神帶來的。你趕快祈禱吧！”
大納言聽了這話，忽然說道：“啊，你說的是。”便大聲祈禱：“南無船靈大明菩薩！請聽稟告：小人愚昧無知，膽大妄為，竟敢圖謀殺害神龍，實屬罪大惡極！自今以後，不敢損害神體一毛，務請饒恕，不勝惶恐之至。”
他大聲念這祈禱，有時起立，有時坐下，有時哭泣，念了千百遍。恐是因此之故，雷聲漸漸地停息。天色漸漸明亮起來，但風還是猛烈地吹著。
船戶說道：“啊，如此看來，剛才的風暴正是龍神菩薩來的。現在的風，方向很好，是順風，不是逆風。我們可以乘這風回家鄉去了。”但大納言已經嚇破了膽，無論如何不相信船戶的話。
這風繼續吹了三四天，似乎可把船吹到原來的地方去了。豈知向岸上望望，這是播磨國明石地方的海岸。但大納言總以為到了南海的海岸，疲勞之極，躺倒在船裏了。他帶來的兩個侍從便上岸去報告當地的衙門。衙門裏特地派人員來慰問。然而大納言不能起身，直挺挺躺在船底裏。無可奈何，隻得在海岸的鬆樹底下鋪一條席子，扶起來躺在席子上。到這時候，大納言方才知道這裏不是南海的島。他好容易坐起身來。這個人平常有些傷風，就神色大變。這時候竟變成腹部膨脹，眼睛像兩顆李子一般腫起。派來的人員看了發笑。
大納言連忙叫衙門裏的人替他備一頂轎子，坐了回家。以前他派出去取龍頭上的玉的家人們，不知從哪裏知道消息，現在都回來了，對他說道：“我們因為取不到龍頭上的玉，所以不敢回來。現在，大人自己也已完全相信此物難取，想來不會責罰我們，所以回來了。”
大納言站起身來對他們說道：“龍頭上的玉，難怪你們取不到。原來龍這東西，是與雷神同類的。我叫你們去取它頭上的玉，猶如要殺死你們這許多家人。如果你們捉住了這條龍，連我也要被殺死的幸而你們沒有把龍捉住。這大約是輝夜姬這個壞家夥企圖殺死我們而安排的陰謀。我今後決不再走到她家附近去。你們也不要到她那裏去。”就把家中剩下的錦絮和金子賞賜了取不到龍頭上的玉的家人們。
以前離婚了的妻子聽到這則消息，幾乎笑斷了肚腸。新造房子屋頂上掛著的五彩帶子，都被鷂鷹和烏鴉銜去做巢了。
於是世間的人們都說：“聽說大伴大納言去取龍頭上的玉，沒有取到，眼睛上生了兩個李子回來了。啊，吃不消呀！”
從此以後，凡做無理的事，叫做“啊，吃不消呀”。
中納言石上麻呂對家中仆役說：“燕子做窠時，你們來通知我。”仆役們說：“大人要做什麼呢？”答道：“我要取燕子的子安貝。”
仆役們說：“我們曾經看見人們殺過許多燕子，但它們的肚子裏從來沒有這樣的東西。也許，燕子產卵的時候會生出這東西來。然而，怎樣取得到呢？燕子這東西，一看見人就逃走的呀。”
另外有一個人說：“宮中大廚房內，煮飯的屋子棟柱上的許多洞裏，都有燕子做窠。在那裏搭起架子來，叫幾個壯健的人爬上去，向許多洞裏窺探。那裏燕子很多，說不定有一兩隻正在產卵，就可把它們打死，奪取子安貝。”
中納言聽了這話，非常高興，說道：“這辦法很對，我倒沒有想到。你的話很有道理。”就選了忠實的男仆二十人，在那裏搭起架子來，叫他們爬上去。中納言不斷地派人去問：“怎麼樣？字安貝取到了沒有？”可是，那些燕子看見這麼許多人爬上來，都害怕了，不敢飛近。就有人把這情況報告中納言。中納言悲觀了，不知如何是好。
這時候，大廚房裏有一個年老的司事，名叫麻呂的，走來對中納言的家人們說：“你們大人要取子安貝，我倒有一個辦法呢。”家人們通報中納言，中納言便召見這老人，親切地同他談話。麻呂說道：“要取燕子的子安貝，這辦法是沒有用的。這樣做，一定取不到。第一，這樣烏叢叢的二十幾個人爬上去，那些燕子嚇壞了，是不敢飛近來的。應該把這架子拆掉，叫這許多人都走下來。然而選定一個幹練的男子，叫他坐在一隻大籃子裏。籃子上縛一根索子，用滑車掛在梁上。燕子飛來了，連忙拉索子，籃子升上去。這男子便伸手去取字安貝。這樣，保管你取到手。”
中納言說：“這確是個好辦法。”便把架子拆毀，把那些人叫回來。他問麻呂：“那末，怎麼會知道燕子要產卵了，把人拉上去呢？”
麻呂答道：“燕子要產卵，尾巴一定向上翹，翹了七次，卵就產下來。看到他第七次翹尾巴的時候，把籃子拉上去，便可取到子安貝。”
中納言聽了這話，歡喜無量，便偷偷地走進大廚房，擠在人叢中，日日夜夜地督促那人去取子安貝。同時，因為麻呂教了他這方法，他大大地褒獎他，對他說道：“你不是我家的人，倒很能稱我的心呢。”他還沒有取得子安貝，就象已經取得了那樣高興，把自己身上的衣服脫下來，賞賜給麻呂，對他說道：“今晚你必須再來一次大廚房，幫幫忙。”便叫麻呂暫時回去。
天色漸暮，中納言來到大廚房。一看，燕子果然正在做窠。而且正如麻呂所說，尾巴正在翹動。他連忙叫人乘入籃子裏，把籃子拉上去，叫他伸手到燕子窠裏去摸。那人摸了一會，說道：“什麼也沒有！”
中納言生氣了，說道：“這是你不會摸的原故。”他想另外選一個人去摸，左思又想，終於說道：“還是讓我自己上去摸吧。”便坐在籃子裏，那籃子徐徐地拉上去。他向燕子窠裏窺探，好極了！燕子正在翹尾巴。他連忙伸手到窠裏去摸，摸著了一塊扁平的東西，便教道：“啊，有了！有了！把我放下來吧！麻呂！有了，有了！”人們圍集攏來，把籃子上的索子往下拉。豈知太用力了，那索子被拉斷。籃子裏的中納言跌下來，正好落在一隻大鍋子裏。
人們大吃一驚，趕忙走過去，把中納言抱起。一看，他兩眼翻白，呼吸也停止了。連忙把水灌進他嘴裏，過了好一會，他方才蘇醒過來。人們按摩一下他的手臂和腿，然後把他從鍋子上抱下來，問他：“現在您覺得怎麼樣？”中納言上氣不接下氣地說道：“稍微好點了。腰還是動不得。但子安貝牢牢地握在我手中，目的達到了。不管別的，趕快拿蠟燭來，讓我拜見這件寶貝。”
他抬起頭，張開手來一看，原來握著的是一塊陳舊的燕子糞！中納言叫道：“唉！沒有貝！”
從此以後，做事無效，叫做“沒有貝”。
中納言看到這不是子安貝，當然不能裝在匣子裏送給輝夜姬，心情大為沮喪。況且又是折斷了腰骨。他做了愚蠢的事，以致弄壞了身體，生怕這情況被世人知道，不勝苦恨。但他越是苦恨，身體越是衰弱。取不到貝，還在其次，被世人恥笑，才真是丟臉。這比普通患病而死更沒麵子。
輝夜姬知了這消息，做了一首詩去慰問他，詩曰：
“經年杳杳無音信，定是貝兒取不成。”
家人把這首詩念給中納言聽了，中納言在苦悶之中抬起頭，叫人拿來紙筆，寫一首答詩，詩曰：
“取貝不成詩取得，救命隻須一見君。”
他寫完這詩，就斷氣了。輝夜姬聞此消息，深感抱歉。