米AIスタートアップのPrismMLは7月14日（現地時間）、モデルの重みを低ビット化した新たなマルチモーダルAIモデル「Bonsai 27B」を発表した。270億（27B）パラメータ級モデルとしては初めて、スマートフォンでも動作可能なサイズまで圧縮した。
これに合わせてCNBCの取材に応じたPrismMLのCEO、ババク・ハシビ氏は、Appleを含む複数社が同社のモデルや技術を評価していることを明らかにした。
独自の低ビット技術で圧縮、2種類のモデルを提供
Bonsai 27Bは、Alibabaの「Qwen 3.6 27B」をベースとしている。通常の16ビット精度では約54GB、4ビット量子化版でも約18GBを必要とする27B級モデルを、独自の低ビット技術で圧縮した。モデルは三値版と1ビット版の2種類で提供される。
「Ternary Bonsai 27B」は、FP16グループワイズスケーリングを用いた「−1」「0」「＋1」の三値の重みを使用している。重みあたりの実効値は1.71ビットで、モデル容量は5.9GB。一般的なノートPCでの利用を想定し、推論やツール呼び出し、エージェント処理に対応する品質重視のモデルである。
1ビット版の「1-bit Bonsai 27B」は、重みを「−1」と「＋1」の二値を使用し、重みあたりの実効値は1.125ビット。モデル容量を3.9GBに抑えた。PrismMLによれば、iPhone 17 ProでKVキャッシュや中間計算用の領域を確保しながら動作できる。iPhone 17 Proは12GBメモリを搭載するが、アプリが実際に使える容量は約6GBに限られる。
マルチモーダル対応とベンチマーク性能
両モデルはテキストに加えて、スクリーンショット、ドキュメント、カメラ入力などにも対応する。最大26万2000トークンのコンテキスト長を備え、複数段階の推論、構造化されたツール呼び出し、コンピューター操作を含むエージェント処理をサポートする。AppleデバイスではMLX、NVIDIA GPUではCUDAを通じてネイティブに動作する。モデルの重みはApache 2.0ライセンスで公開され、期間限定で無料の開発者向けプレビューAPIも提供する。
PrismMLが実施した15種類のベンチマークでは、16ビットの基盤モデルの総合スコアを100%とした場合、Ternary版は約95%、1ビット版は約90%に相当する結果を示した。同社の測定による生成速度は、NVIDIA GeForce RTX 5090で1ビット版が最大163トークン/秒、Ternary版が134トークン/秒。M5 Maxでは1ビット版が最大87トークン/秒、Ternary版が58トークン/秒だったという。
Appleとの協議、技術評価の詳細
PrismMLを巡っては、The Informationが7月9日に、Appleがモバイル端末で大規模言語モデルを動かすためにPrismMLと協議を進めていると先んじて報じていた。CNBCに対してハシビ氏は、Appleを含む数社が同社の技術を評価していると説明し、具体的にはモデルの処理速度やエネルギー効率、端末上での性能などが評価対象になっているとした。協議は初期段階にあり、具体的な提携内容や採用の有無は決まっていないという。
PrismMLはカリフォルニア工科大学の研究チームから生まれたスタートアップで、CNBCによると、基盤技術の特許は同大学が保有し、PrismMLに独占的にライセンスしている。
