はじめに
「GPT-4」を上回る日本語性能のLLM「Llama-3-ELYZA-JP」を開発しました、というニュースが飛び込んできました。本記事執筆から2日前の2024年6月26日のことです。詳細は下記のリンク先をご確認ください。
本記事のサマリー ELYZA は、「Llama-3-ELYZA-JP」シリーズの研究開発成果を公開しました。700億パ…
以下、プレスリリースより引用です。
ELYZAは「ELYZA-japanese-Llama-2-7b」から継続して「Llama」シリーズの日本語化に取り組み、今回の「Llama-3-ELYZA-JP」では「GPT-4」や「Claude 3 Sonnet」などを上回る性能を達成することができました。
さらに「Llama」シリーズでの取り組みに限らず、海外のオープンなモデルの日本語化や、独自のLLMの開発に継続して投資をしていきます。これらのモデルの公開・提供を通じて、国内における LLM の社会実装の推進、並びに LLM の研究開発の発展を支援してまいります。
Llama及びLLM とはなんぞー、という方。
Llamaは、Meta（旧Facebook）が開発したLLMの一種です。LLM は大規模言語モデルのことで、人間の言葉を理解し、生成することができる高度な AI システムです。Llama は LLM の中でも特に優れているモデルの一つで、特にLlama 3 は非常に高い性能を持っています。
Llama 3はMeta AIに統合され、FacebookやInstagramなどのSNSでも利用可能になりました。リアルタイムの知識を統合し、テキストから画像を生成する機能も備えています。オープンソースで公開されているため、多くの研究者や開発者が利用できる点が特徴です。
今回発表された「Llama-3-ELYZA-JP」シリーズは、Meta社の「Llama 3」シリーズをベースとした2種類の日本語大規模言語モデル（以下、LLM）を指し、700億パラメータの「Llama-3-ELYZA-JP-70B」と80億パラメータの「Llama-3-ELYZA-JP-8B」が該当します。
700億パラメータの日本語LLM「Llama-3-ELYZA-JP-70B」については、無料で利用可能なデモを用意しています。本デモサイトは、以下のリンクから触っていただくことができます。
80億パラメータの日本語LLM「Llama-3-ELYZA-JP-8B」については、Hugging Face Hub にて公開しており、transformers ライブラリから利用可能です。ライセンスはLlama 3 Community License に準拠しており、Acceptable Use Policy に従う限りにおいては、研究および商業目的での利用が可能です。
ということで、さっそく無料にてデモサイトが使えるとのことなので、実際に使ってみたいと思います。
デモサイトからLlama-3-ELYZA-JPを使ってみた
下記リンクよりデモを体験できます。
ELYZA LLM for JP｜デモ版
※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。
上記のように画面が開きました。特に会員登録などはなく、そのまま利用できるようです。
さて何をもって比較しようかと考えたところ、やはり日本独特の言い回しと言えば「方言」でしょうか。私は京都に住んでおり、京都では「WEラブ赤ちゃんプロジェクト」というプロジェクトを実施しています。このプロジェクトでは「泣いてもかましまへん！」というメッセージが込められており、このフレーズについて以前から詳しく知りたかったため確認してみます。
■Gemini
「かましまへん」は関西弁で「構いません」という意味です。つまり、「泣いても大丈夫ですよ、気にしないでください」という優しい気持ちが込められています。■ChatGPT
「泣いてもかましまへん！」は関西弁で、「泣いてもかまいません！」という意味です。これは、「泣いても大丈夫ですよ」「泣いても気にしませんよ」という意味で、誰かが泣くことを許容している、または泣くことを気にしないという意味合いを持ちます。■Llama-3-ELYZA-JP
「泣いてもかましまへん！」は、京都弁で「泣いても構わない」という意味です。京都弁は、京都府周辺で話される日本語の方言で、独特の表現やイントネーションが特徴です。
「かましまへん」は、京都弁で「構わない」や「気にしないでいい」という意味で、標準語の「かまわない」に相当します。したがって、「泣いてもかましまへん！」は、標準語で「泣いても構わない！」や「泣いても気にしないでいい！」と訳すことができます。
上記のような結果になりました。Gemini、ChatGPTでは「関西弁」とありますが、ELYZA-JPにおいては「京都弁」と、より具体的に解説されているのがわかります。やはり、日本語特有の言い回しなどには強いイメージですね。さて、次は無茶ぶりです。
「京都の観光名所を2か所、京都弁で紹介してください。」で比較してみます。
■Gemini
ほな、京都のええとこ2つ、紹介したろか。1. 清水寺
清水寺は、京都東山にあるお寺で、音羽の滝や清水の舞台で有名や。音羽の滝は、それぞれ「学問成就」、「恋愛成就」、「健康長寿」のご利益があるとされとる。清水の舞台は、崖っぷちにせり出した舞台で、京都市街を一望できる絶景スポットや。
清水寺は、日本のお寺の中でも特に人気のある観光スポットで、いつもたくさんの人が訪れとる。特に、紅葉の季節は格別で、真っ赤に染まった木々がなんとも美しいさかい、ぜひ訪れてみてや。
2. 伏見稲荷大社
伏見稲荷大社は、京都市伏見区にあるお寺で、千本鳥居で有名や。千本鳥居は、朱色の鳥居が連なって続くトンネルで、なんとも幻想的な光景や。伏見稲荷大社は、お稲荷さんとして親しまれとる神様を祀っとるお寺で、商売繁盛や家内安全のご利益があるとされとる。
伏見稲荷大社は、京都の観光スポットの中でも特に人気のあるとこで、特に外国人観光客にも人気や。千本鳥居をくぐり抜けながら、山頂まで登れば、京都市街を一望できる絶景を楽しめるさかい、ぜひチャレンジしてみてや。
清水寺と伏見稲荷大社は、どちらも京都を代表する観光名所や。京都に来たら、ぜひ訪れてみてや。
■ChatGPT
ええどすえ、京都の観光名所を二つ紹介させてもらいますなぁ。清水寺（きよみずでら）
ほんなら、まずは清水寺やな。ここは、京都の東山にある有名なお寺どす。清水の舞台から飛び降りる、いう言葉もあるように、舞台からの眺めはほんまに見事やで。春には桜が満開になって、秋には紅葉が見事に色づくさかい、いつ来ても楽しめるどすえ。お寺の周りにはお土産屋さんや食べ物屋さんもようさんあって、歩いてるだけでも楽しいどす。
金閣寺（きんかくじ）
次に紹介するのは金閣寺どすな。北山にあるこのお寺は、正式には鹿苑寺（ろくおんじ）いうんやけど、金箔がきれいに貼られた建物が特徴的やさかい、みんな金閣寺って呼んでるんや。池の周りを歩きながら、金閣の美しさをいろんな角度から楽しめるんやで。季節ごとの景色もまた趣があって、特に雪化粧の金閣寺は絶景やで。
どちらも京都の歴史と風情を感じられる素晴らしい場所どすえ。ぜひ足を運んでおくれやす。
■ELYZA-JP
京都の観光名所を2か所、京都弁で紹介します。清水寺:
「清水寺は、京都の南部にあるお寺や。三重塔が有名で、舞台が突き出てて、絶景が見れるで。」金閣寺:
「金閣寺は、北山にありますお寺や。全部金色に輝いてて、めっちゃきれいですわ。庭園もすごくて、散策するんが楽しいで。」京都弁は、京都府周辺で話される日本語の方言で、独特の表現やイントネーションが特徴です。上記の紹介文では、京都弁の特徴的な表現や語尾を使用して、観光名所を紹介しています。
けっこう回答内容が分かれました。ELYZA-JPはとてもシンプルでセリフも一言二言です。ChatGPTにおいてはコテコテの京都弁、Geminiは関西弁よりの京都弁といったところでしょうか。これだけ見ると、ELYZA-JPの日本語の流暢さについて、もっと比較してみないと何とも意見ができません。
おわりに
いかがでしたでしょうか。「GPT-4」を上回る日本語性能のLLM「Llama-3-ELYZA-JP」について無料で利用できる生成AIサービスと比較してみました。使用感としてはデモサイトと比べるのは酷とはいえ、やはりGeminiやChatGPTの方が使いやすいです。また回答について、思っていた感じとは異なる印象も受けました。
このELYZAは今後、「ELYZA LLM for JP」の名称で2024年春から商用サービスを開始する予定であり、主にセキュリティやカスタマイズ性を重視する企業、自社サービスにLLMを組み込みたい企業向けに、安全なAPIサービスや共同開発プロジェクトなど様々な形で提供していく方針です。また日本語性能評価において「GPT-4」や「Claude 3 Sonnet」、「Gemini 1.5 Flash」などのグローバルモデルと同等あるいは上回るスコアを獲得したとのことなので、今後の発展に期待ができますね。