〔2024/9/19〕ELYZA、経済産業省およびNEDOが推進する「GENIAC」の支援の元、新たな日本語LLMを開発、成果を公開

　大規模言語モデル（LLM）の社会実装を進めるELYZA（本社：東京都文京区、曽根岡侑也社長）は、日本の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」に採択され、計算資源の提供などの支援を受けながら、日本でインフラとして「使われる」基盤モデルの研究開発を行っていた。この度、「GENIAC成果報告会」にてその成果を公表した。
　新たな日本語LLM「Llama-3-ELYZA-JP-120B」を構築した。本モデルの構築にあたり、日本語LLMの性能向上に向けた新たな試みとして、大きく２つの取組みを実施した。

　1.モデルの基礎能力向上
　ELYZAが従来から取り組んでいたオープンモデルをベースにした継続学習によるモデル開発手法に、「Depth Up-Scaling」というモデルサイズ拡張アプローチを組み合わせることで、パラメータ数の増強による性能向上を試みた。結果として、複数のベンチマークで「GPT-4(0613)」を超えるスコアを獲得した。

2.日本特有の知識・表現の性能向上
　日本での社会実装を見据え、日本特有の知識（法令、行政手続きなど）に関する特化学習による性能向上を試みた。また、その応答性能を測るためのベンチマークを新たに作成し評価した結果、「GPT-4(0613)」を超えるスコアを獲得した。

　なお、今回の研究開発における技術的な工夫や得られた知見のより詳細な情報については、後日技術ブログなどを通じて公開予定。
　ELYZAは今後も、モデルの高性能化に加えて、日本に適合した基盤モデル、具体的には日本の知識や表現を詳しく学習した基盤モデルの構築を行い、日本で「あたりまえ」に活用されるインフラの研究開発・構築を目指していく。