AIスタートアップのELYZA（東京都文京区、曽根岡 侑也代表取締役）は2024年３月、700億パラメータの大規模言語モデル（LLM）「ELYZA-japanese-Llama-2-70b」を開発したと発表。加えて、同社が独自開発した大規模言語モデル群「ELYZA LLM for JP」を今春中にAPIで提供開始すると発表した。
同社は2023年10月、産業総合技術研究所が主催する生成AI支援プログラムに国立情報学研究所と共に採択され、人工知能処理向け計算インフラストラクチャ「AI橋渡しクラウド（ABCI：AI Bridging Cloud Infrastructure）」の計算能力の約13%を一定期間独占的に割り当てられた。同年12月から２カ月間、米Meta社が開発したLLM「Llama 2」をベースに、日本語の追加事前学習と事後学習を実施。追加事前学習には、約100Bトークンの日本語コーパスが用いられた。
ELYZA 代表取締役社長の曽根岡 侑也氏（左）、ELYZA-tasks-100による、海外モデルと比較した性能評価（右）
ELYZA 代表取締役社長の曽根岡 侑也氏は、「2023年末時点では、国際的に最先端を行くモデルと比較して、国内モデルの性能に大きく差がある状況でした」と述べたうえで、今回発表した700億パラメータの新モデルについて、ELYZAが実施した手動評価ガイドライン「ELYZA-tasks-100」で、５段階評価で3.62となり、海外モデルと比較して全体５位、国内モデルと比較して全体１位の評価だったことを報告。同社によると、「OpenAI開発のLLM『GPT-3.5 Turbo』の点数3.67と比較してもほぼ同水準で、海外モデルと遜色ない評価を得た」と詳述した。
同社は、大規模言語モデル群「ELYZA LLM for JP」を今春からAPIとして順次提供開始することも発表。曽根岡氏は、「日本語LLMを安定した環境で活用するためには、APIでの提供が最適であると考えました」と解説した。
会見では、「ELYZA LLM for JP」のデモサイトについて説明
「ELYZA LLM for JP」はデモサイトで一般公開。デモでは、AWS開発のAmazon EC2 Inf2 Instancesが用いられている。
「ELYZA LLM for JP」デモサイト内の質問・回答例
ELYZA LLMの強みのひとつに、知識ベースだけでなく、知恵も求められる、なぞなぞのような問いに対しても的確に返答できる点にある。例えば、「坂の多い町で有名な長崎では、上り坂と下り坂どちらが多いでしょう？」という質問に対して“ひっかけ問題である”と認識。坂の数という正確なデータを基に回答するのではなく、「上り坂と下り坂は同数である」ことから答えを導くため、「情報が不明確なために回答できない」といったAI特有の“ずれた”回答を提示しない。日本語に強いだけでなく、こうした柔軟性を強みに掲げるほか、曽根岡氏は、「汎用LLMをベースに業界特化型・企業特化型のLLMを開発、提供していきたい」と今後の展望を語った。
＜関連サイト＞
・「ELYZA LLM for JP」デモサイト（https://elyza.ai/lp/elyza-llm-for-jp）
2024年03月13日 16時15分 公開
2024年03月13日 16時15分 更新
新規登録
ログイン
