ELYZA（東京都文京区、曽根岡 侑也代表取締役）は、大規模言語モデル（LLM）群『ELYZA LLM for JP』シリーズの最新モデルとして、米Metaの『Llama 3』をベースとした700億パラメータの『Llama-3-ELYZA-JP-70B』と80億パラメータの『Llama-3-ELYZA-JP-8B』を発表した。
曽根岡 侑也代表取締役CEO
冒頭は、曽根岡氏が直近のLLMの動向を解説。2024年３月以降、クローズドモデル、オープンモデルともに相次いで新モデルが公開され、日本語性能においてもトップラインが次々と更新されている状況を指摘。同社のモデルのベースとなっている『Llama』についても性能を向上、このほど発表した両モデルの性能にも反映されている。「（4月に発表した）KDDIとの資本業務提携の締結によって計算基盤への投資を強化できたこともあり、グローバルモデルと比較しても遜色ないレベルになったと考えています」（曽根岡氏）。
図 米Meta社の『Llama 3』をベースに開発した２つのモデルを発表
Llama-3-ELYZA-JP-70Bは、『Llama-3-70B』をベースに、日本語の追加事前学習および指示学習を実施して開発したモデル。日本語の性能を測定するためのベンチマークとして同社が提供する『ELYZA Tasks』と英Stabillity AIが提供する『Japanese MT-Bench』を用いた自動評価において、米OpenAIの『GPT-4』や米Anthropicの『Claude 3 Sonnet』、米Google『Gemini 1.5 Flash』といった主要なモデルと同等あるいは上回る性能を達成したという。
図 『Llama-3-ELYZA-JP-70B』のベンチマーク評価
Llama-3-ELYZA-JP-8Bは、『Llama-3-8B』をベースに、日本語の追加事前学習および指示学習を実施して開発した。『Llama-3-70B』と同様、ベンチマークを用いた自動評価を実施。曽根岡氏は、「パラメータ数では１ケタ小さいにもかかわらず、数百億パラメータあるオープンモデルと遜色ない日本語性能を達成できたことは非常に大きな成果と言えます」と強調する。
図 特化LLMの開発
同社は、ELYZA LLMシリーズをAPIで順次提供していく。Llama-3-ELYZA-JP-8Bについては、商用利用可能なかたちでの公開もする。「今後は、業界や企業、タスクに特化したLLMの開発・提供を加速させる方針です」（曽根岡氏）。その第一弾として、経済産業省が主導する生成AI開発力強化に向けたプロジェクト『GENIAC』において、日本知識LLMの開発を行っている。また、KDDIグループのBPOであるアルティウスリンクとの連携により、コンタクトセンターにフィットするモデルの開発も検討している。曽根岡氏は、「ビジネスにおいては、アプリケーションレイヤでの戦いが活発化するとみています。当社からも近々、社会実装についてお知らせする予定です」と展望を述べ、締めくくった。
図 APIとして順次提供を開始
2024年06月26日 11時00分 公開
2024年06月26日 11時00分 更新
新規登録
ログイン
