ニュースボイス

μPC:予測符号化を100層超のネットワークに拡張する新手法

🕒

カテゴリ

科学・技術

深層学習の訓練アルゴリズムとして従来の誤差逆伝播(Backpropagation)に代わる生物学的に妥当な手法「予測符号化(Predictive Coding)」が注目されています。本研究では、μPCという新たなパラメータ化手法を用いて、予測符号化ネットワーク(PCN)を128層まで安定的に訓練可能にした成果を報告しています。最小限のチューニングで既存ベンチマークと競合する性能を達成し、今後のニューラルネットワーク設計への応用が期待されます。