「推論」の記事一覧

• 「理由なき思考」の効果：中間トークンの本質を問う

  2025-05-23 16:13

  科学・技術

  本論文は、大規模言語モデルにおける中間的な「思考トークン（CoT）」の有効性を批判的に再検討します。正確な推論痕跡を使って訓練されたモデルでも、正しい解に至る過程で無効な中間表現が生成されることが多く、さらに意味のないランダムな痕跡でも精度が保たれることが判明。中間トークンの“意味”や“思考”としての解釈に対し、過大評価の危険性を指摘しています。

• ディープラーニングはトポロジーである

  2025-05-20 13:54

  科学・技術

  この記事では、ディープラーニングをトポロジー、すなわち高次元空間上のデータ構造として捉える視点が示されています。ニューラルネットワークはデータを変形し、意味的に関連するもの同士を近づけ、分類や推論を可能にする「トポロジー生成器」として機能します。次の単語予測では限界があり、良質な推論軌跡に基づくファインチューニングや強化学習が重要とされます。最終的に、思考そのものもトポロジー上で表現できると示唆されます。

• 超軽量ニューラルネット構築への挑戦

  2025-05-01 18:10

  科学・技術

  著者は、6つのセンサーから得られる非線形なデータを用いて物体の姿勢推定を行うため、小型マイコン上で動作する超軽量なニューラルネットを構築しようと試みます。TensorFlowによる量子化訓練を用いてモデルを作成し、RustクレートMicroFlowで実行しますが、推論時に浮動小数点演算が必要で、目標とする整数演算オンリーの実装には至りません。著者はJAXによるカスタム量子化訓練を用いた手法を模索しており、200行以下で理解可能な美しく軽量なネットワークを目指しています。

• 小型AIモデルPhiの進化、推論能力で大規模モデルに迫る

  2025-05-01 01:02

  科学・技術

  Microsoftは、小型言語モデルPhiシリーズの新バージョン「Phi-4-reasoning」「Phi-4-reasoning-plus」「Phi-4-mini-reasoning」を発表しました。これらのモデルは、小さなパラメータ数ながら複雑な推論タスクをこなす能力を持ち、従来は大型モデルでしか実現できなかった性能を実現しています。特にPhi-4-reasoning-plusは、米数学オリンピック予選問題で大規模モデルDeepSeek-R1を上回る成績を記録しました。教育やPC搭載AIへの応用も進んでおり、省エネで高速な推論が可能です。Microsoftは、これらのモデルに責任あるAI原則を適用して開発を進めており、安全性や公平性にも配慮しています。