「Transformer」の記事一覧

• Attentionだけでは足りなかった：最新Transformer技術解説

  2025-05-23 18:14

  IT・ネット

  本記事は、Transformerモデルにおける「Attention Is All You Need」以降に登場した最新技術を紹介しています。Group Query Attention、Flash Attention、Multi-head Latent Attentionなど、性能向上や効率化を実現する多数の手法がPyTorchコード付きで解説され、特に大規模モデルや長文処理に有効な技術が多く含まれます。さらに、前処理正規化やRMSNormなどの安定化手法や、学習率スケジュール、推論高速化技術も網羅されており、実践的な改善ポイントを学ぶ上で有益な内容となっています。

• Transformerの理解に向けたN-gram統計の応用

  2025-05-17 19:56

  科学・技術

  この論文は、Transformerモデルの出力をN-gram統計によって近似することで、モデルの予測がどのように文脈に依存しているかを明らかにしようとしています。これにより過学習の検出や、モデルが単純な統計ルールから複雑なものへ学習を進める様子を観察できます。TinyStoriesやWikipediaのデータセットで高い一致率が得られており、LLMの理解に貢献する新しい視点を提示しています。

• Llamaをゼロから実装する方法

  2025-05-15 09:34

  科学・技術

  この記事では、言語モデル「Llama」を学習データTinyShakespeareでゼロから実装する過程が丁寧に紹介されています。基礎的な前処理から始まり、RMSNormやRoPE埋め込み、多頭注意といったLlama特有の工夫を段階的に追加し、検証とデバッグを繰り返す方法論が述べられています。実験的な実装を通じて、実行可能な最小構成のモデルを作り、学習・推論を通じて性能向上を目指す実践的なアプローチが示されています。