「INTELLECT-2」の記事一覧

• INTELLECT-2：分散強化学習で訓練された32Bモデルを公開

  2025-05-12 01:46

  科学・技術

  INTELLECT-2は、世界初の分散型強化学習で訓練された32Bパラメータの大規模言語モデルで、クラウドに依存しない非中央集権的なインフラ上で学習されました。独自のPRIME-RLフレームワークと検証システムTOPLOC、効率的な重み配信手法SHARDCASTを用い、オープンな参加者が生成したロールアウトを検証・活用することで訓練を行います。初期実験では、数学やコーディング課題への適応力が確認され、今後はツール活用やマルチターン強化学習への発展も視野に入れています。