途之中歷盡磨難。
公元659年秋天，吉祥連、石布連率領的兩艘船隻，奉命出使大唐。一行人從日本難波三津浦出發，經過兩個多月的海上顛簸，漂流到朝鮮半島南部海域的小島上。第二天黎明時分，兩船先後尾隨出海。第三天，夕陽西下，看似平靜的海面突起狂風，石布連的船漂到一個小島上，島上的土著人趁勢擄掠，大使以下多人遇害，僅有五人趁隙乘土著人的船隻得以逃脫，一路奔命來到大唐境內的括州。政府官員負責將他們送到了洛陽。
兩船失散之後，吉祥連的船隻在一天半夜才行到大唐越州會稽縣須岸山，但是又遇到強勁的東北風，因而不能靠岸。輾轉七天之後，才得以在浙江餘姚下錨。他們把所乘的大船留在餘姚。經過一個多月的時間，在各地驛站的協助下也來到東都洛陽。
當時高宗皇帝在東都洛陽對日本一行人進行了接見。日本使者特別以兩名蝦夷人示唐天子。這一時期，日本已經接受中國“中央王朝”的意識形態，“蝦夷”這樣的稱呼很明顯是來源於中國“蠻夷”的說法。蝦夷人全身紋身，男人須長四尺，並且當場進行了射箭表演，且射無不中；另將一張白鹿皮、三張弓、八十支箭進獻給高宗。高宗對他們的奇特裝束很感興趣，特別對他們的情況作了詢問。
高宗問道：“蝦夷在什麼地方？”
使人答道：“在我國東北方。”
“蝦夷人有幾種？”
“分為三種，最偏遠者，我們稱其為‘都加留’，再近一些的，稱其為‘粗蝦夷’，最近的叫‘熟蝦夷’。今天陛下見到的屬‘熟蝦夷’，他們每年都會入貢敝國朝廷。”
“蝦夷人種植糧食嗎？”
“沒有，他們靠吃肉存活。”
“蝦夷人建造屋舍嗎？”
“也沒有。他們深居山林，以樹洞巖穴為家。”
除此之外；日本國內問題並沒有引起高宗皇帝過多的關注。
短暫的初次召見結束後，高宗下令使者暫回舍館，“爾等遠道而來，先在館舍住下，擇日再見。”
高宗皇帝顯然也沒有更多留意蝦夷人。但日本使者帶上蝦夷人一起覲見高宗，是有他們的政治考慮的。幾乎與此同時，日本大和軍在阿倍比羅夫將軍的率領下，正對該國北部進行征討。使者是想告訴大唐皇帝，日本也已經是大一統的國家了。
隨後，包括日本在內的諸國使節一起參加了高宗皇帝親臨的冬至宴會。宴後高宗皇帝下發敕旨：“國家，來年必有海東之政。汝等倭客，不得東歸！”
“海東之政”表明高宗皇帝已打算接受新羅的請求，對百濟進行武力打擊。日本遣唐使遂被軟禁在西都長安。
就在日本使者在洛陽城逗留的時候，剛*完突厥的大唐左武衛大將軍蘇定方接受了新的軍事任務，以使持節神丘、嵎夷、馬韓、熊津等一十四道大總管的身份統水陸大軍十三萬，會同五萬新羅兵，共同討伐百濟。
再往前數年，即公元653年，日本曾派出一支使團，這支遣唐使團以包括日本貴族子弟等人在內的留學生或學問僧組成。在那次召見中，唐高宗曾向日本使者下達詔書，要求日本發兵援助受到百濟軍事壓制的新羅。
唐朝政府之所以會向日本發出這樣的命令，大概是基於唐朝判斷高向玄理、南淵清安以及僧旻在內的一批在隋朝有過生活經歷的人在大和朝廷有一定的影響力，誤判了當時的日本政府會執行親唐政策。
事實上，當時掌握日本最高權力的中大兄王子一直主張與百濟結盟，而作為他的重要謀臣之一的中臣鐮足很可能在這一點上與他是有分歧的，在這批遣唐使中就有中臣鐮足的長子定惠和尚。
僧旻在公元659年去世，高向玄理則於此前的公元654年於大唐去世。