オープンソースのローカルLLM実行環境「Strata」の最新版、バージョン0.1.44が10月13日に公開された。新たにApple Silicon搭載Macへの実験的な対応を追加したほか、対応モデルや量子化形式の拡充、AMDおよびIntel製GPUでの推論高速化などが導入されている。
Apple Silicon搭載MacでMetalを利用した推論が可能に
Strataは、LLMをローカルPCで実行するための推論エンジン。NVIDIA、AMD、IntelのGPUに対応し、OpenAIやAnthropic互換のAPIサーバーなども利用できる。今回追加されたMac対応では、M1～M5搭載機でMetalを利用した推論が可能になったという内容。
開発者によるM5 Max（メモリ128GB）での検証では、同じGGUFファイルを使用したllama.cppと比較し、MTPを使用したトークン生成速度が1.6～1.9倍、プロンプト処理速度が1.5～1.6倍に達したという。ただし現時点では実験的な実装で、対応モデルや同時リクエスト数などに制限がある。
NVFP4形式への対応拡充と新モデル対応
さらに、Unslothが公開する4～8bit量子化モデルやGeForce RTX 50シリーズのFP4 Tensorコアを利用できるNVFP4形式への対応を拡充。新たに「Qwen3.6-35B-A3B」にも対応し、AMD Radeon RX 9700を使用した開発者の測定ではMTP有効時に約161トークン/秒の生成速度を記録したとしている。
AMD・Intel GPUでの性能最適化と既知の不具合
性能面ではAMDのRDNA 4世代GPUを使用したマルチGPU環境の最適化や、Intel Arc Aシリーズの高速化も実施。Arc A750では最適化によって生成速度が11.8トークン/秒から15.9トークン/秒に向上したとしている。なおMacの一部機種などで正常な応答が得られない既知の不具合があり、開発者は修正版の0.1.44.1で対処する予定としている。
