bonsai-8b今日の日本ニュース
エッジAIに革命!1-bit LLM「Bonsai-8B」登場、スマホで超高速・完全ローカル動作を実現
米PrismMLが、革新的な1-bitアーキテクチャを採用したオープンソースLLM「Bonsai-8B」を公開。メモリ占有量を従来の14分の1(1.15GB)に抑え、iPhoneでの毎秒44トークン生成や大幅な省電力化を実現しました。Llama 3に肉薄する推論能力を持ち、スマホやIoT機器でのリアルタイムAI活用を加速させる画期的なモデルとして注目を集めています。
