晁衡原名阿倍仲麻呂，698年出生於日本奈良。自小酷愛漢文學。717年（唐開元五年），正是晁衡19歲的那一年，他被朝廷選為留唐學生，隨遣唐大使來唐都長安學習。
到達長安不久，晁衡被安置在唐代最高學府國子監太學裏學習。太學裏集聚著許多富有才華的中外學生，在學習氣氛甚濃的環境裏，晁衡專心攻讀周秦以來的封建經典，並以優異的成績，博得了唐朝廷許多學者的青睞。753年任秘書省的秘書監（相當於當今國立圖書館館長一職）。
晁衡在唐期間，正是我國詩人輩出，詩歌創作極為繁榮的時期。李白和晁衡年齡相仿，學識相當。李白十分欽佩晁衡謙虛好學和良好的漢詩修養，二人一見如故，友誼極深。
晁衡在唐生活十八年後的753年11月15日，偕同藤原清河（日本天皇遣唐第十次使團團長）等人離長安，經揚州、張帆東歸。21日船行至衝繩島北部，天氣驟變，航船遇難，170多人遭難，幸存者僅晁衡、藤原清河等十幾人。消息傳至唐朝，大家誤以為晁衡也已遇難身死。李白聽後，不僅失聲痛哭，寫《哭晁卿行》，以誌悼念：日本晁卿辭帝都，征帆一片遠逢壺。明月不歸沉碧海，白雲愁色滿蒼梧。
晁衡等人曆盡艱辛，最後又重返長安。以為他已死去的李白及朋友們見他活著回來，歡喜若狂。晁衡自日本來唐至埋骨盛唐，在中國度過了五十四個春秋，李白與晁衡的友誼至今傳為佳話。1977年5月，東京上演了著名劇作家田義賢編寫的，歌頌李白與晁衡，中日友誼的話劇《望鄉詩》，受到人民的喜愛。