ServiceNow、Hugging Face、およびNVIDIAは、開発者がエンタープライズアプリケーションの構築に生成AIを活用するための新しいオープンアクセスの大規模言語モデル（LLM）であるStarCoder2をリリースしました。
このモデルは、619種類のプログラミング言語でトレーニングされており、アプリケーションのソースコード生成、ワークフロー生成、テキスト要約などの特殊なタスクを実行するためにエンタープライズアプリケーションに組み込むことができます。
StarCoder2には、3つのモデルサイズがあり、ServiceNowによってトレーニングされた30億パラメータのモデル、Hugging Faceによってトレーニングされた70億パラメータのモデル、そしてNVIDIAによりNVIDIA NeMoを使用して構築され、NVIDIAアクセラレーテッドインフラストラクチャ上でトレーニングされた150億パラメータのモデルが含まれています。
StarCoder2は、大きなコードのデータセット（たくさんのプログラムの情報）から学習した、コード（プログラム）を作るためのツールです。このツールは、3つの異なるサイズがあり、それぞれが異なる量の情報（パラメータ）を持っています。最大のモデル、StarCoder2-15Bは、4兆以上の情報と600以上のプログラミング言語から学習しています。
これらのモデルは、ある程度の情報（16,384トークン）を見て、その中から必要な部分（4,096トークン）に注目して、コードを作ります。これは「Fill-in-the-Middle」（真ん中を埋める）という方法で学習しています。
ServiceNow、Hugging Face、NVIDIA、開発者がエンタープライズ アプリケーションの構築に生成 AI を活用するための新しいオープンアクセス LLM をリリース
StarCoder2 - BigCode コミュニティと 600 以上のプログラミング言語のトレーニングを経て誕生。コード生成、透明性、ガバナンス、イノベーションを推進。
www.nvidia.com
コメント