FlashAttentionの実装解説
🕒
🔗
元記事を見る
カテゴリ
科学・技術SGLangでFlash Attentionのバックエンドを実装する過程を解説した技術記事。基本構造からCUDA Graphの最適化まで段階的に紹介し、LLMの高速推論を実現する仕組みに迫る。