「機械学習理論」の記事一覧

• Boltzmann Machines: 初期の生成AIの基礎

  2025-05-15 13:41

  科学・技術

  ボルツマンマシンは1980年代に登場した初期の生成AIモデルで、教師なし学習によってデータの分布を学習します。一般的なボルツマンマシンは全てのニューロンが互いに接続されているのに対し、制限付きボルツマンマシン（RBM）は可視層と隠れ層が分離されており、より効率的に学習できます。エネルギー関数に基づいたパターン学習を行い、訓練後はGibbsサンプリングを用いて新しいデータを生成可能です。

• LLMにおける「創発性」はなぜ起きるのか

  2025-05-08 20:07

  科学・技術

  大規模言語モデル（LLM）は、パラメータ数が増えると突然新たな能力を獲得する「創発性」を示すことがあります。これは自然界や機械学習の非線形性に起因すると考えられ、タスクを実現するのに必要な「ビット予算」が初めて十分になることで急に能力が発現するという仕組みです。数理的証明ではなく直感的な説明により、この現象の理解を深め、将来的には予測や制御につなげる可能性が探られています。