「ANEMLL」の記事一覧

• Apple Neural EngineでLLMを動かすANEMLLライブラリ

  2025-05-03 15:29

  IT・ネット

  ANEMLLは、大規模言語モデル（LLM）をApple Neural Engine（ANE）上で動作させるためのオープンソースライブラリです。Hugging FaceのモデルをCoreML形式に変換し、iOSやmacOS上でのオンデバイス推論を可能にします。SwiftやPythonによるサンプル実装、ベンチマーク機能、iOS用チャットアプリのデモも提供されており、エッジデバイス上でのプライバシー重視のAI活用を促進します。現在はLLaMA系のモデルを中心に対応しています。