大納言大伴御行回到家中，便將家裡的人和門客全部召集到一塊，告訴他們
“在西方的阿瓦隆有一棵五彩斑斕的樹，倘若你們有人能夠將一根樹枝折下來給我，要什麼樣的賞賜都是可以的。”
於是下面的人一聽，相互對視幾分，嘆息道
“大人的提議當然是很好的，賞賜可謂是豐厚十分，但是這樣的樹，想必是極難尋見的，這又要去什麼地方才能找得到呢？”
大納言將他們彼此哀嘆的模樣收入眼中，極為不滿地開口
“我是大伴家的主人，你們這些作為我家人的，為了完成主人的願望和要求，就算是捨棄生命也是理所當然的，怎麼能發出這樣的哀嘆呢。更何況，我已經告訴你們了，便在西方的阿瓦隆就有著那樣神奇的樹木，只需要折下一根樹枝便可以了，這是什麼難事嗎？”
於是他們無可奈何，只能點點頭說
“既然如此，那也就沒有辦法，無論是怎樣難得的寶物，我們也都只有去尋找了。”
“這才像話，我大伴家的人，可是天下聞名的，又怎麼會違揹我這個主人的意願呢？”
大伴御行將家中的珍貴絲絹和玉帛分發給這些人，當作是他們尋找樹枝的路費，然後告訴他們
“你們便去尋找吧，但是倘若尋不到，便不要回來了，我就在家中等你們，日日吃齋唸佛為你們祝福，等待你們歸來。”
這話當然誰聽了都會不高興，大伴御行的家人們便出門離開，他們前腳剛離開大伴家，後腳便聚成一團開始商討。
他們心想，大伴御行讓他們去西方取什麼阿瓦隆的樹枝，這種東西要怎麼去取得呢，都不知道在多麼遙遠的地方，只說是在西方，這根本是取不到的東西，既然取不到就不能回去，那便不回去了。
於是他們便各自隨心所欲地分散開，拿了大伴御行賜下的財物，有的回去家鄉了，有的則不知道去哪了，總之到最後，也沒有一個人願意乘船去西方找什麼阿瓦隆的樹枝。不光沒人願意去找那件東西，他們b還各自在路上遇到人詢問，便咒罵大伴御行，說
“不管是主人家還是什麼衣食父母，說這樣沒道理的話，就是胡說八道了，叫我們能夠怎麼辦呢？”
大伴御行自己當然是不知道這件事的，他甚至在家裡只想著等這些人帶著東西回來，他便好拿著這五彩斑斕晶瑩剔透的樹枝去迎娶輝夜姬。
猛然間，他看到自己的房屋，思索便覺得，給輝夜姬住這樣的屋子實在是太不像話，便開始築造一間新的奢華的房屋，塗上各式各樣的漆彩，鑲嵌諸多的裝飾，再掛上美麗的絲帶，認為這樣的屋子才能配得上輝夜姬的容貌。
甚至於，為了迎娶輝夜姬，大伴御行還遣散了自己的妻子和小妾們，無論是什麼樣的事情都不再過問，一心一意為了輝夜姬做準備，由此展現自己的誠心。
不說這個傻瓜，且說大伴御行的家人們，不管大伴御行是怎樣的焦心等待著，時間過去一年又一年，卻也沒有見到哪怕是一個人回到大伴家來向他覆命。
他實在是焦心得等不下去了，便找了兩個隨身的侍從，悄悄地來到西方的航船停靠的岸港，詢問漁夫們可曾知曉那些人的下落，他找到一個漁夫便問
“大伴家的人，乘了船前去西方取阿瓦隆的樹枝，這訊息你可聽說過？”
漁夫疑惑無比：“你這人真奇怪，阿瓦隆那樣的地方，我是不曾有聽說過的，誰會為了這樣虛無縹緲的東西航船出去，至少在這裡是一個都沒有的。”
大伴御行聽了之後十分不屑，他認為這漁夫實在是目光短淺，不知道他大伴家的人有多麼的厲害，這天下的事情可沒有什麼是做不成的。
他心想，只不過是去找一棵樹罷了，這又算得