大企業は小規模に注目、AIは小型・低費用が時に優位 AppleやMicrosoft、速度向上・専門性・開発費削減に期待

これまでAI（人工知能）の開発競争は、性能の指標となる「パラメーター数」や学習するデータ量、計算資源を大規模化することによって繰り広げられてきた。だがここに来て、テクノロジー大手は小型化に注目している。

小規模言語モデルのメリット

オープンAIの「Chat（チャット）GPT」のような、巧みに言葉を操る生成AIは、大規模言語モデル（LLM）を基盤として構築されている。だが、米ウォール・ストリート・ジャーナル（WSJ）によれば、オープンAIの「GPT-4」のようなLLMの開発には、1兆を超えるパラメーターや1億ドル（約160億円）以上の費用が必要になる。

一方、小規模言語モデル（SLM）は法務文書のような、より限定的なデータセットで訓練され、その訓練費用は1000万ドル（約16億円）以下、パラメーター数は100億以下で済む。必要となる計算処理も少なく、質問のたびに発生するコストも低くなる。

何よりも、サーバー側で動く高価なGPU（画像処理半導体）がなくても、CPU（中央演算処理装置）など端末側のプロセッサーを使って動かすことができるので、処理速度が速い。