Vision Transformerの性能向上に「レジスター」が必要
🕒
🔗
元記事を見る
カテゴリ
科学・技術Vision Transformerでは推論時に不要な領域に高ノルムトークンが発生する問題があり、追加トークンを投入することでこれを解決。自己教師あり学習モデルの精度向上にも成功しました。