「機械学習」の記事一覧
-
OpenTPU：Google TPUを再現したオープンソース実装
2025-05-27 23:10
科学・技術カリフォルニア大学サンタバーバラ校のArchLabが、GoogleのTensor Processing Unit（TPU）を再現したオープンソースプロジェクト「OpenTPU」を公開しました。PyRTLを用いて構築され、ReLUやシグモイドといった活性化関数にも対応。命令セットは独自で、推論フェーズに特化しています。Verilog出力やシミュレーション機能も備え、学術的および実践的な分析に活用できます。Google公式仕様は未公開のため、部分的な再現にとどまります。
-
WebGLでGPT-2を動かす：シェーダープログラミング再発見
2025-05-27 18:02
IT・ネット本記事では、WebGLとシェーダーを用いてGPT-2をGPU上で動作させた事例を解説しています。かつて視覚効果のために設計されたシェーダーを汎用計算に転用し、テクスチャやフレームバッファを行列演算用のデータ構造として活用。各処理をフラグメントシェーダーで並列化し、GPUメモリ内で完結する演算環境を構築しています。WebGLの限界も指摘しつつ、教育的価値と歴史的意義を強調する内容となっています。
-
RoundtableのProof-of-Human技術者募集
2025-05-27 17:42
科学・技術Y Combinator支援のスタートアップRoundtableは、人間とAIの識別技術「Proof-of-Human」を開発する技術者を募集しています。業務は研究とエンジニアリングを半々で担当し、機械学習・認知科学・オンライン実験の知識が活かされます。プロダクトの迅速な実装と運用を目指し、デジタルID分野での不正防止や認証技術の進展に貢献します。
-
結果ベース強化学習による予測精度の向上
2025-05-27 13:33
科学・技術本研究は、結果ベースの強化学習を用いて未来予測の精度と信頼性を向上させる手法を提案しています。従来のRLVR手法に比べ、ノイズの多い実世界の予測タスクでも安定して動作するよう改良が加えられています。14Bモデルを使った実験では、標準的な大規模モデルと同等の精度を示し、特にキャリブレーションで上回りました。小規模LLMでも経済的価値ある予測ツールになり得ることが示されています。
-
ZK-LSTM：長文の文脈保持を可能にする新アーキテクチャ
2025-05-27 10:39
科学・技術独立研究者Zack Kinsmanが提案したZK-LSTMは、従来のLSTMの記憶保持能力を大幅に拡張し、文書全体レベルの文脈を記憶・処理可能なリカレントアーキテクチャです。論文の本文内で引用元を明示する構造が特徴で、1万単語以上のスケールでも一貫した文脈管理が可能。外部メモリは使わず、トークンごとの帰納的な状態更新で処理を行う。Transformerとは異なる系列モデルの新しい可能性として注目されています。
-
Attentionだけでは足りなかった：最新Transformer技術解説
2025-05-23 18:14
IT・ネット本記事は、Transformerモデルにおける「Attention Is All You Need」以降に登場した最新技術を紹介しています。Group Query Attention、Flash Attention、Multi-head Latent Attentionなど、性能向上や効率化を実現する多数の手法がPyTorchコード付きで解説され、特に大規模モデルや長文処理に有効な技術が多く含まれます。さらに、前処理正規化やRMSNormなどの安定化手法や、学習率スケジュール、推論高速化技術も網羅されており、実践的な改善ポイントを学ぶ上で有益な内容となっています。
-
埋め込み空間の普遍的幾何構造を活用する新技術
2025-05-21 18:15
IT・ネット研究者たちは、異なるベクトル空間間でテキスト埋め込みをペアデータなしで翻訳可能にする新手法を発表しました。この手法は、あらゆるモデルの埋め込みを「プラトン的表現仮説」に基づく普遍的な意味構造に変換し、高い類似度で異空間へ変換できます。この技術により、埋め込みベクトルから元の文書に関する機密情報が推定される可能性が高まり、ベクトルデータベースのセキュリティにも大きな影響を及ぼします。
-
LLMの脆弱性「甘い毒」攻撃で明らかに
2025-05-21 05:36
科学・技術大規模言語モデル（LLM）は広範な応用が進む一方で、設計された制限を回避させる「脱獄（Jailbreak）」攻撃の脅威に直面しています。本論文では、モデルの注意重みが入力から出力へ移行することで防御が緩む「防御閾値劣化（DTD）」を突く新たな手法「Sugar-Coated Poison（SCP）」を提案。この手法は一見無害な出力を通じてモデルを誘導し、やがて有害な内容を生成させるものです。対策として、効果的な防御戦略「POSD」も提案されています。
-
記憶定着革命：FSRSで進化する間隔反復学習
2025-05-18 11:42
科学・技術暗記の効果を飛躍的に高める「間隔反復法」は近年、FSRSという新アルゴリズムにより劇的に進化しました。これはカードの難易度や忘却曲線を機械学習で予測し、最適な復習タイミングを個人ごとに調整できるのが特長です。Ankiなどの学習ツールに組み込まれ、復習負担の軽減や効率向上に成功しています。従来の固定間隔法より柔軟で実用的な方法として注目を集めています。
-
決定木とは何か？機械学習における基礎と仕組み
2025-05-18 02:56
科学・技術この記事は、機械学習における決定木の基礎を解説するシリーズの第1回です。決定木の仕組み、分類と回帰の違い、アルゴリズム（ID3, C4.5, CART）、および訓練時の分割方法、目的関数（ジニ不純度・エントロピーなど）を取り上げています。また、過学習、バイアス・バリアンストレードオフ、決定境界の可視化、階段効果、説明可能性などにも触れ、最終的には実装の準備として理解を深める構成です。
-
Transformerの理解に向けたN-gram統計の応用
2025-05-17 19:56
科学・技術この論文は、Transformerモデルの出力をN-gram統計によって近似することで、モデルの予測がどのように文脈に依存しているかを明らかにしようとしています。これにより過学習の検出や、モデルが単純な統計ルールから複雑なものへ学習を進める様子を観察できます。TinyStoriesやWikipediaのデータセットで高い一致率が得られており、LLMの理解に貢献する新しい視点を提示しています。
-
API不要の未来へ：Foundryが切り拓くWebエージェントの世界
2025-05-16 17:01
IT・ネットFoundryは、SaaSやエンタープライズツールにAPIが不要となる未来を見据え、ブラウザエージェント向けの新たな基盤インフラを構築しています。従来のGPTラッパーではなく、RLやMLによる世界モデルの構築に注力。創業者はScale AIやMeta出身の実績あるエンジニアで、現実世界のWeb操作を高精度で再現・評価できるプラットフォームを開発。自動化の新たな基準を目指しています。
-
行列積XXᵗを高速化する新アルゴリズムRXTXが登場
2025-05-16 15:45
科学・技術arXivに投稿された研究によると、行列とその転置の積XXᵗを従来より5％少ない演算で計算できる新アルゴリズム「RXTX」が開発されました。このアルゴリズムは機械学習による探索と組合せ最適化の融合で生み出され、小規模な行列においても既存手法より高速に動作します。数値計算や大規模行列処理における処理効率の向上が期待され、数理最適化や応用数学の分野でも注目されています。
-
型制約付きコード生成：LLMによる型安全な出力の実現
2025-05-13 22:15
科学・技術大規模言語モデル（LLM）はコード生成で成果を挙げてきましたが、型エラーなどによりコンパイル不能な出力も多く見られます。本研究では、型システムを利用した「型制約付きデコーディング」により、LLMが生成するコードの型安全性を担保する手法を提案しました。独自のプレフィックスオートマトンや型探索を用い、TypeScriptなど実用言語にも拡張可能な形で実装され、HumanEvalやMBPPといったベンチマークで高い効果を示しました。
-
CUDA最適化を劇的に簡素化するAIプラットフォーム
2025-05-13 14:43
科学・技術SimplePromptsは、自然言語でCUDAカーネルを最適化・生成できるAIプラットフォームです。ユーザーはGPUの専門知識がなくても、AmpereやHopperなどの最新GPU向けに最適化されたコードを即時に生成可能。クラウド上でのプロファイリングにより、ローカルGPU不要でボトルネック分析が行えます。従来の複雑な最適化ツールに代わる、スピードと操作性を兼ね備えた新しいソリューションとして注目されています。
-
MLによるコード補完で開発効率が6％向上
2025-05-13 11:20
科学・技術Googleは、機械学習とセマンティックエンジンを組み合わせたハイブリッドコード補完システムを社内IDEに導入し、10,000人以上の開発者を対象に検証を行いました。MLが提案するコード補完に対して、セマンティックチェックを加えることで信頼性を確保し、開発者の受容率と生産性が向上。結果として、開発サイクル時間が6％短縮され、新規コードの約3％がML提案によるものとなりました。今後はさらなるSEとの連携を予定しています。
-
TransMLA：GQAを凌駕する新しい注意機構
2025-05-13 03:29
科学・技術TransMLAは、既存のGroup Query Attention（GQA）ベースのモデルを、より効率的なMulti-head Latent Attention（MLA）ベースへ変換する手法を提案しています。MLAは低ランクのKey-Value行列を用いてキャッシュサイズを削減しつつ表現力を維持する新しい仕組みで、推論速度向上と通信効率化が期待されます。既存モデルの後処理による変換も可能で、今後の標準化が期待されています。
-
解釈可能性を重視したスパースな音声コーデックの提案
2025-05-12 18:24
科学・技術既存の音声コーデックは高品質だが解釈が難しいという課題に対し、本論文はイベントベースのスパースな音声表現を用いた新たなエンコーダを提案しています。物理的な仮定に基づき、音の発生と共鳴をモデル化し、圧縮だけでなく直感的な理解も可能とします。この手法は、音楽や会話の圧縮・分析においてより柔軟な応用が期待される実験的アプローチです。
-
機械学習におけるオフラインとオンラインの違い
2025-05-09 17:59
科学・技術本記事では、機械学習システムのスケーラビリティを保つために重要な、オフラインとオンラインパイプラインの明確な分離について解説しています。オフラインはデータ収集やモデル学習を、オンラインはリアルタイム推論を担います。実際のAIアプリ開発では、これらを異なるアプリとして構築・接続することが必要であり、構成の違いやデータ生成パイプラインの詳細も紹介されています。
-
Chrome、スパム通知対策に機械学習導入
2025-05-08 19:34
IT・ネットChromeは、スパムや詐欺的な通知を防ぐため、Android版でオンデバイス機械学習による通知警告機能を導入しました。この機能は、通知のタイトルや本文などのテキストからスパムの可能性を分析し、ユーザーに警告を表示します。通知の内容は端末内で処理され、プライバシーを保護。学習にはGemini LLMによる合成データが使われました。今後は他プラットフォームへの展開も検討されています。
-
クラス不均衡学習と重み調整の探求
2025-05-08 13:41
科学・技術この記事では、クラス不均衡を伴う画像分類問題に対するクラス重み付けの効果について、理論と実験の両面から分析しています。一般的に用いられる「逆頻度による重み付け」が実際にはF1スコアの改善に寄与しない可能性があることを示し、代わりに問題固有の誤分類コストやトレードオフ曲線の形状を考慮した調整が望ましいと結論づけています。また、評価指標の選択がモデル性能の最適化に大きく影響することも実証しています。
-
強化学習の古典技法をPythonで実装
2025-05-06 22:43
科学・技術このGitHubリポジトリでは、Sutton著『強化学習入門』に基づいた様々な強化学習アルゴリズムがPythonで実装されています。マルチアームバンディットからモンテカルロ法、TD学習、方策勾配、Actor-Critic法まで網羅的に収録。基本的な遷移関数を定義することで各手法を実行可能であり、学習目的の利用に適しています。プロダクション用途ではないものの、強化学習の学習や実験には有用なリソースとされています。
-
自然言語で機械学習モデルを構築できるPlexe
2025-05-06 15:38
IT・ネットPlexeは、自然言語による記述だけで機械学習モデルを自動生成できる革新的なツールです。利用者は意図や入出力スキーマをテキストで記述するだけで、AIエージェントが設計、学習、評価、デプロイまで一貫して処理します。分散学習にも対応し、OpenAIやAnthropic、Hugging Faceなど複数のLLMプロバイダと連携可能。データ生成やスキーマの自動推論も可能で、技術者以外のユーザーにも使いやすい設計となっています。
-
AIが英語アクセントの強さを聞き分ける仕組み
2025-05-06 14:07
科学・技術BoldVoiceは、英語学習者向けのAI発音指導アプリで、話者のアクセントの強さを「アクセント指紋」として数値化・可視化します。Victorという学習者がネイティブ講師Elizaの発音に近づけるように、機械学習モデルを使って音声空間上での位置を分析。バックグラウンドノイズ除去や声色変換、模倣練習を通じて、Victorの発音は「中級〜上級」レベルへと改善されました。この研究は、アクセント教育におけるAI活用の新たな可能性を示しています。
-
機械が学習するための直線とは
2025-05-05 15:05
科学・技術コンピュータが学ぶとは、誤った予測を少しずつ改善していくことです。本記事では、住宅価格を題材に、線形回帰がどのように最初の予測線を描き、勾配降下法を用いてその精度を向上させるかを説明しています。誤差を測定し、最小化することで最適な予測線を導く方法が紹介され、さらに誤差関数の形状や勾配の利用方法も解説されています。これは深層学習など複雑なモデルにも応用される基本概念です。
-
GPT-2をWebGLでブラウザ実装
2025-05-02 15:21
IT・ネットオープンソースプロジェクト「gpt2-webgl」は、GPT-2の小型モデル（117M）の推論処理をWebGL2を用いてブラウザ上で実現する試みです。事前学習済みの重みをPythonスクリプトで取得し、GPUでの推論をJavaScriptで可能にします。トランスフォーマーブロックや注意行列の可視化機能も備え、機械学習の学習やデモ用途に適しています。MITライセンスで提供されています。
-
Llasa：大規模音声合成モデルの革新
2025-05-01 16:43
科学・技術Llasaは、LLaMAベースの音声合成モデルで、トレーニングと推論の計算リソースを拡張することで、自然な音声生成と感情表現の向上を実現しています。単一のTransformerアーキテクチャとVQコーデックを採用し、従来の多段階TTSモデルの複雑さを解消。1B、3B、8Bのモデルとトレーニングコードが公開され、研究者や開発者にとって有用なリソースとなっています。
-
GoogleスプレッドシートでAIを学習可能に
2025-04-30 15:53
IT・ネットGoogleスプレッドシートを活用してAIモデルのファインチューニングが可能となるツールが登場しました。フォームデータやカスタマーサポートの会話を用いて、簡単に独自モデルを構築できます。UIカスタマイズ、PDF生成、電子署名対応など多彩な機能も提供されており、Google FormsをCRMや注文システムとして強化することができます。非開発者でも導入しやすい点が特徴です。
-
OCamlで機械学習を：Ravenプロジェクトの挑戦
2025-04-30 12:31
IT・ネットRavenは、OCaml向けに設計された機械学習およびデータサイエンス用のライブラリエコシステムです。NumPyに相当するNdarray、高品質なグラフ描画が可能なHugin、インタラクティブノートブックのQuill、JAXにインスパイアされた自動微分のRuneなど、Python環境に匹敵する構成を目指しています。現在はプレアルファ段階であり、今後のフィードバックを通じてより実用的なツール群へと進化予定。型安全性やパフォーマンスの高さといったOCamlの特性を活かし、機械学習開発をより堅牢で効率的なものにしようという試みです。