AIの常識を覆す！1ビットLLM「Bonsai-8B」が登場、iPhoneで爆速動作する真のオンデバイスAI時代へ

【シリコンバレー＝共同】 生成AI（人工知能）の常識を覆す「数学的突破口」が、エッジコンピューティングの未来を塗り替えようとしている。米カリフォルニア理工大学（カルテック）の数学者らが設立したAIスタートアップ、PrismMLは、全コンポーネントを「1ビット（+1または-1）」で構成した画期的な大規模言語モデル（LLM）「Bonsai-8B（ボンサイ-8B）」をオープンソースで公開した。

82億パラメータを誇りながら、メモリ容量はわずか1.15GB。従来の同規模モデルの14分の1という驚異的な軽量化を実現したことで、これまでクラウド経由でしか動作しなかった高性能AIが、iPhoneなどのスマートフォン上で爆速で動作する「真のオンデバイスAI」時代の幕を開けた。

■「1ビット」がもたらす破壊的イノベーション

現在の生成AIの主流は、16ビット（FP16）などの高精度なデータ形式で計算を行う。しかし、これには膨大なメモリと計算資源が必要となり、80億パラメータクラスのモデルを動かすには約16GBのメモリを要する。これが、最新のスマートフォンであっても高性能LLMの直接搭載を阻む「壁」となっていた。

PrismMLが開発した「Bonsai-8B」は、この壁を独自の「ネイティブ1-bitアーキテクチャ」で粉砕した。埋め込み層からアテンション、出力層に至るまで、モデルのすべての重みを+1か-1の2値で表現。これにより、パラメータサイズを劇的に圧縮し、メモリ消費を1.15GBまで抑え込むことに成功した。

特筆すべきは、単なる「間引き」ではなく、Qwen 3をベースとした高度な数学的最適化により、高い精度を維持している点だ。ベンチマークテストの平均スコアは70.5を記録。フル精度のLlama 3.1 8B（72.1）と比較しても、その差はわずか1.6ポイントに留まる。「14倍の軽量化に対し、性能劣化は極微か」というこの圧倒的なコストパフォーマンスは、業界に大きな衝撃を与えている。

■iPhoneで「秒間44トークン」の衝撃

「Bonsai-8B」の真価は、実際の動作速度に現れている。最新のiPhone 17 Pro Maxを用いたテストでは、秒間約44トークン（tok/s）という、人間が読むスピードを遥かに上回る推論速度を記録した。従来の16ビットモデルがiPhoneでは起動すら困難であることを考えれば、その差は歴然だ。

また、Mac（M4 Pro搭載）では136 tok/s、ハイエンドGPUのRTX 4090では440 tok/sという桁違いのスループットを実現。消費電力も従来の4〜5倍改善（75〜80%削減）されており、バッテリー駆動のモバイル端末において「低遅延・省電力・プライバシー保護（完全オフライン）」の3拍子が揃った実用的なAI利用が可能になる。

■産業界への波及と広がるエコシステム

「Bonsai」の名を冠する技術は、エッジAIの枠を超えて産業オートメーションの分野でも注目を集めている。マイクロソフト傘下の「Project Bonsai」との関連性も含め、製造業におけるデジタルツインや、CAE（計算機援用工学）の最適化など、論理推理を必要とする垂直統合型ソリューションへの応用が期待されている。コード生成やSQLのデバッグ、数学問題の解決においても、Bonsai-8Bは十分な実力を示している。

PrismMLは、今回の8Bモデルに加え、さらに軽量な4B（0.5GB）や1.7B（0.24GB）も同時に公開した。これらを組み合わせることで、「単純な応答は1.7B、高度な推論は8B、複雑なタスクのみクラウドへ」といった、効率的なルーティング戦略も現実味を帯びてきた。

■「数学による勝利」投資家も熱視線

この成果に対し、著名投資家のヴィノッド・コスラ氏は「これは単なるモデルの改良ではなく、数学的な大躍進だ」と絶賛する。PrismMLはすでにKhosla VenturesやCerberus Capital、そしてカルテックなどから1,625万ドルの資金調達を実施しており、その技術力の高さは折り紙付きだ。

現在はApache 2.0ライセンスのもとHugging Faceで公開されており、世界中のエンジニアがLlama.cppやMLXといったツールを通じて導入を開始している。

ハードウェアの制約を「力技」ではなく「数学」で解決したBonsai-8B。データセンターという巨大な枷（かせ）から解き放たれたAIは、私たちのポケットの中で、より身近で不可欠な存在へと進化しようとしている。