Apple Neural EngineでLLMを動かすANEMLLライブラリ
🕒
🔗
元記事を見る
カテゴリ
IT・ネットANEMLLは、大規模言語モデル(LLM)をApple Neural Engine(ANE)上で動作させるためのオープンソースライブラリです。Hugging FaceのモデルをCoreML形式に変換し、iOSやmacOS上でのオンデバイス推論を可能にします。SwiftやPythonによるサンプル実装、ベンチマーク機能、iOS用チャットアプリのデモも提供されており、エッジデバイス上でのプライバシー重視のAI活用を促進します。現在はLLaMA系のモデルを中心に対応しています。