ニュースボイス

Apple Neural EngineでLLMを動かすANEMLLライブラリ

🕒

カテゴリ

IT・ネット

ANEMLLは、大規模言語モデル(LLM)をApple Neural Engine(ANE)上で動作させるためのオープンソースライブラリです。Hugging FaceのモデルをCoreML形式に変換し、iOSやmacOS上でのオンデバイス推論を可能にします。SwiftやPythonによるサンプル実装、ベンチマーク機能、iOS用チャットアプリのデモも提供されており、エッジデバイス上でのプライバシー重視のAI活用を促進します。現在はLLaMA系のモデルを中心に対応しています。