ニュースボイス

Byte Latent Transformer:トークンの代わりにパッチで効率化を実現

🕒

カテゴリ

科学・技術

Byte Latent Transformer(BLT)は、従来のトークンベースのLLMと同等の性能を維持しつつ、推論効率と頑健性を向上させた新しいアーキテクチャ。データの予測困難度に応じて動的にパッチを形成し、複雑な情報には多くの計算資源を割く仕組み。8Bパラメータまでのスケーリング実験では、固定語彙を持たないまま、効率的な学習と推論が可能であることを示した。将来のLLMの設計指針に影響を与える成果。