「機械学習理論」の記事一覧

• LLMにおける「創発性」はなぜ起きるのか

  2025-05-08 20:07

  科学・技術

  大規模言語モデル（LLM）は、パラメータ数が増えると突然新たな能力を獲得する「創発性」を示すことがあります。これは自然界や機械学習の非線形性に起因すると考えられ、タスクを実現するのに必要な「ビット予算」が初めて十分になることで急に能力が発現するという仕組みです。数理的証明ではなく直感的な説明により、この現象の理解を深め、将来的には予測や制御につなげる可能性が探られています。