オープンソースLLMの日本語能力を高めた「Llama 3.1 Swallow」を公開

英語力を維持しながら日本語の理解・生成・対話能力を強化した大規模言語モデル

産総研

2024/10/8 14:00

【ポイント】

○大規模言語モデルLlama 3.1の英語の能力を維持しながら、日本語の能力を強化

○Llama 3.1ライセンスにより、商用利用だけでなく他のモデルの改良にも利用可能

○高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進

【概要】

東京科学大学（Science Tokyo）情報理工学院情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人産業技術総合研究所（産総研）は、日本語能力に優れた大規模言語モデル（「Swallow」シリーズの最新版である「Llama 3.1 Swallow」を公開しました（公開リンク参照）。今回、80億パラメータ（8B）、700億パラメータ（70B）の規模に対し、それぞれベース（base）モデルと指示チューニング（instruct）済みモデル、合計4種類のモデルを公開しました。本モデルはLlama 3.1ライセンスで公開されているため、商用利用だけでなく、他のモデルの改良などにも利用できます。

Science Tokyoと産総研の研究チームは、英語の言語理解・生成や対話で高い能力を持つ大規模言語モデル（米Meta社 Llama 3.1）の能力をほぼ落とさずに、日本語の言語理解・生成や対話能力を高めることに成功しました。特に、80億パラメータのモデルは、同規模の既存の大規模言語モデルよりも高い日本語理解・生成能力を有することが確認されました。日本語と英語の両方において高い性能を達成するため、研究チームは学習に用いる日本語ウェブコーパスの大規模化・高品質化や、指示チューニングデータの自動生成などに取り組みました。

公開リンク： https://swallow-llm.github.io/llama3.1-swallow.ja.html

プレスリリースの詳細はこちら

https://www.aist.go.jp/aist_j/press_release/pr2024/pr20241008_2/pr20241008_2.html

本プレスリリースは発表元が入力した原稿をそのまま掲載しております。また、プレスリリースへのお問い合わせは発表元に直接お願いいたします。