「パッチ」の記事一覧

• Byte Latent Transformer：トークンの代わりにパッチで効率化を実現

  2025-05-12 16:55

  科学・技術

  Byte Latent Transformer（BLT）は、従来のトークンベースのLLMと同等の性能を維持しつつ、推論効率と頑健性を向上させた新しいアーキテクチャ。データの予測困難度に応じて動的にパッチを形成し、複雑な情報には多くの計算資源を割く仕組み。8Bパラメータまでのスケーリング実験では、固定語彙を持たないまま、効率的な学習と推論が可能であることを示した。将来のLLMの設計指針に影響を与える成果。