〔2024/3/28〕PKSHA、日本マイクロソフト支援のもと新たな大規模言語モデルを開発

　PKSHA Technology（以下、PKSHA）は、世界で初めて「Retentive Network（RetNet）」を活用した日英大規模言語モデル（Large Language Model、以下、LLM）を開発することを発表した。なお、開発は日本マイクロソフトの技術支援のもと行われている。PKSHAは「人とソフトウエアの共進化」というビジョンの元、今回のLLM開発を通じ、ビジネスにおける生成AIの実用性を高め、主にコンタクトセンターや社内ヘルプデスクにおける生産性向上を支援していく。2024年4月以降、段階的にビジネス現場での実運用を開始する予定。
　2022年11月のChatGPTの登場により、生成AIの進化が加速し、国内外でもさまざまなモデルの研究・開発が進んでいる。PKSHAは、日本マイクロソフトから学習用インフラの提供および技術支援を受け、以下の特徴を持つ新たなLLMを開発した。
　既に公開されているLLMは、基盤となるアーキテクチャに「Transformer」を使用しているケースが主流だが、本モデルは、その後継といわれるRetNetを使用する世界初の日英モデル。RetNetは、マイクロソフトの研究開発機関であるMicrosoft Researchによって開発され、学習速度、長文入力時の推論速度やメモリ効率が優れている上に、従来と同等以上の精度を持つことが示されている。メモリ効率に優れるということは、従来モデルよりも少ないGPUで運用することができ、コスト面でも優れていると言える。このアーキテクチャを使用することで効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現する。
　モデルのパラメータ数としては、コンタクトセンターなどにおける実装を視野に、出力精度と運用コストのバランスに優れた70億パラメータを採用した。このモデルを活用することで、例えば日本語の新聞紙2ページの情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能となり、入力情報量が多くなるほど優位性が高まる。また、モデルの開発にはMicrosoftによって研究開発された深層学習フレームワーク「DeepSpeed」を採用し、その強みであ
る高い並列分散処理能力を発揮するためのLLM学習ノウハウとAzure上のGPUサーバー群が日本マイクロソフトから提供されている。DeepSpeedの活用により効率的に学習を進め、プロトタイプモデルによる性能確認を早期に実現した。
　PKSHAは2012年の創業当初から自然言語処理（NLP）の研究開発に注力し、コミュニケーション領域を中心にAIの社会実装を行ってきた。コンタクトセンターや社内ヘルプデスク領域を中心に6000件以上のAI活用の実績を持ち、その領域のさらなる高度化を実現するために同モデルの活用を進めていく。
　具体的な使用例としては、コンタクトセンターでのリアルタイムの顧客関係管理（CRM）の実現や、社内ヘルプデスクでの従業員問い合せの高度化などが挙げられる。これらの実装により、企業の効率化とサービス品質の向上が見込まれる。
　PKSHAは、さらなる検証と改善を行い、2024年4月ごろから段階的にビジネス現場での実運用を開始する予定。最初の対象領域としては、既にAIの導入実績があるコンタクトセンターや社内ヘルプデスクを想定し、領域や活用ケースを広げていく。