「ニューラルネットワーク」の記事一覧

• Kolmogorov-Arnoldネットワーク（KAN）の解説と実装

  2025-05-22 20:40

  科学・技術

  Kolmogorov-Arnold Network（KAN）は、従来の多層パーセプトロン（MLP）に代わる新しいニューラルネットワークモデルです。KANは、重み付きの線形変換の代わりに、関数の適用によって特徴を抽出する構造を持ち、学習可能な活性関数としてBスプラインなどを使用します。この記事では、KANの背景理論、構造、実装コード、学習プロセスなどが詳細に解説されています。KANは、解釈性や効率性の面でMLPの課題に対する可能性を提示します。

• μPC：予測符号化を100層超のネットワークに拡張する新手法

  2025-05-21 19:48

  科学・技術

  深層学習の訓練アルゴリズムとして従来の誤差逆伝播（Backpropagation）に代わる生物学的に妥当な手法「予測符号化（Predictive Coding）」が注目されています。本研究では、μPCという新たなパラメータ化手法を用いて、予測符号化ネットワーク（PCN）を128層まで安定的に訓練可能にした成果を報告しています。最小限のチューニングで既存ベンチマークと競合する性能を達成し、今後のニューラルネットワーク設計への応用が期待されます。

• 内部表現の質に疑問を投げかける新仮説：Fractured Entangled Representation

  2025-05-20 06:54

  科学・技術

  本論文は、ニューラルネットワークの性能向上が必ずしも良質な内部表現の構築につながらないことを示すものです。進化的手法で構築されたネットワークと、従来の勾配降下法で学習されたネットワークを比較した結果、同じ出力を得ても内部表現が大きく異なり、後者には「Fractured Entangled Representation（FER）」と呼ばれる混乱した構造が見られました。FERは汎化能力や創造性、継続学習能力に悪影響を与える可能性があり、その解明が今後のAI研究の鍵となると論じています。

• Boltzmann Machines: 初期の生成AIの基礎

  2025-05-15 13:41

  科学・技術

  ボルツマンマシンは1980年代に登場した初期の生成AIモデルで、教師なし学習によってデータの分布を学習します。一般的なボルツマンマシンは全てのニューロンが互いに接続されているのに対し、制限付きボルツマンマシン（RBM）は可視層と隠れ層が分離されており、より効率的に学習できます。エネルギー関数に基づいたパターン学習を行い、訓練後はGibbsサンプリングを用いて新しいデータを生成可能です。

• CTM：思考を模倣する新しいAIモデル

  2025-05-12 02:21

  科学・技術

  Sakana AIによる新しいAIアーキテクチャ「Continuous Thought Machine（CTM）」は、従来のニューラルネットワークとは異なり、内部的な「思考ステップ」を持つことで、時系列的な思考を可能にします。ニューロン単位の動的な処理と同期を通じて、CTMは迷路解決や画像分類、記憶再生などにおいて高い汎化能力を示しました。CTMは生物脳に触発された設計思想に基づき、AIにおける知性の新たな可能性を開いています。