「深層学習」の記事一覧

• Kolmogorov-Arnoldネットワーク（KAN）の解説と実装

  2025-05-22 20:40

  科学・技術

  Kolmogorov-Arnold Network（KAN）は、従来の多層パーセプトロン（MLP）に代わる新しいニューラルネットワークモデルです。KANは、重み付きの線形変換の代わりに、関数の適用によって特徴を抽出する構造を持ち、学習可能な活性関数としてBスプラインなどを使用します。この記事では、KANの背景理論、構造、実装コード、学習プロセスなどが詳細に解説されています。KANは、解釈性や効率性の面でMLPの課題に対する可能性を提示します。

• μPC：予測符号化を100層超のネットワークに拡張する新手法

  2025-05-21 19:48

  科学・技術

  深層学習の訓練アルゴリズムとして従来の誤差逆伝播（Backpropagation）に代わる生物学的に妥当な手法「予測符号化（Predictive Coding）」が注目されています。本研究では、μPCという新たなパラメータ化手法を用いて、予測符号化ネットワーク（PCN）を128層まで安定的に訓練可能にした成果を報告しています。最小限のチューニングで既存ベンチマークと競合する性能を達成し、今後のニューラルネットワーク設計への応用が期待されます。

• 内部表現の質に疑問を投げかける新仮説：Fractured Entangled Representation

  2025-05-20 06:54

  科学・技術

  本論文は、ニューラルネットワークの性能向上が必ずしも良質な内部表現の構築につながらないことを示すものです。進化的手法で構築されたネットワークと、従来の勾配降下法で学習されたネットワークを比較した結果、同じ出力を得ても内部表現が大きく異なり、後者には「Fractured Entangled Representation（FER）」と呼ばれる混乱した構造が見られました。FERは汎化能力や創造性、継続学習能力に悪影響を与える可能性があり、その解明が今後のAI研究の鍵となると論じています。

• 気象庁、AIで予報精度向上へ

  2025-05-17 20:41

  科学・技術

  気象庁はAIの導入により天気予報の精度向上を目指しています。新たに設置された専門チームが、過去の気象データをもとにした深層学習と従来の数値予報モデルを組み合わせた新技術の開発を進めています。特に台風の進路予測などで精度向上が期待されており、2029年から稼働予定の新型気象衛星「ひまわり10号」との連携も計画されています。

• 無教師あり深層学習による初期値問題の物理解法

  2025-05-16 21:45

  科学・技術

  本研究は、無教師ありのディープラーニング手法を用いて、物理に基づく初期値問題を解く新たな枠組みを提案しています。自由粒子や振り子、複雑な非線形系であるヘノン・ハイレス系などのモデルに対し、ニューラルネットワークがエネルギー保存などの物理法則を満たす軌道を再現できることを示しました。特に、確率的活性化関数の導入により、解の安定性と精度が向上しています。本手法は、物理における非線形力学系の解析に有効なアプローチとなる可能性があります。

• 注意機構の「なぜ」を深掘りする：LLM自作記 第13回

  2025-05-08 21:06

  科学・技術

  LLMを自作するブログシリーズの第13回では、自己注意機構の「なぜ」に焦点を当て、個々の注意ヘッドが実は単純なパターンマッチングであることを明らかにします。著者は、複数の注意層とマルチヘッド構成によって、情報が段階的に豊かになり、文脈理解が深まる仕組みを解説。また、従来の固定長ベクトルに代わり、入力トークン数に比例する柔軟な表現が得られるという利点についても述べています。