「bonsai-8b」に関するニュース

エッジAIに革命！1-bit LLM「Bonsai-8B」登場、スマホで超高速・完全ローカル動作を実現

米PrismMLが、革新的な1-bitアーキテクチャを採用したオープンソースLLM「Bonsai-8B」を公開。メモリ占有量を従来の14分の1（1.15GB）に抑え、iPhoneでの毎秒44トークン生成や大幅な省電力化を実現しました。Llama 3に肉薄する推論能力を持ち、スマホやIoT機器でのリアルタイムAI活用を加速させる画期的なモデルとして注目を集めています。