PrismML Bonsai — 1.15GBの8Bモデルってアリなの?
Caltechチームが作ったPrismML Bonsaiは、重みを{-1, +1}だけで表現する1-bit LLMだ。 8Bモデルが1.15GBに収まり、フル精度の8倍速いという。実際に確認してみた。
タグ
edge-ai
5件の記事
Kitten TTS V0.8 — 25MB未満でSOTA達成の超小型TTSモデル完全解説
14Mパラメータ・25MB未満でクラウドTTS品質を実現するKitten TTS V0.8を徹底解説。エッジデバイス展開の可能性とローカル音声AI最新トレンドを分析します。
30ドルラジオ＋ローカルAI＝インターネット不要スマートホーム — エッジAIの実用例
Mac miniと30ドルのLoRaラジオだけで、インターネットなしに音声制御とスマートホーム操作を実現した実践事例を分析します。ローカルAI×IoTの具体的な実装とコストを解説します。
CPUだけで1.2時間でLLM訓練 — MatMul-Freeアーキテクチャの可能性
GPUなしCPUのみで1.2時間、1,360万パラメータの言語モデルを訓練したFlashLM v3を分析します。乗算を排した三値重みによるMatMul-Freeアーキテクチャの原理とメモリ・省エネ効果、エッジAIや低コスト学習への示唆までを整理しました。
FunctionGemma 270M — 超小型モデルでマルチターンtool calling精度90-97%達成
270Mパラメータの超小型モデルFunctionGemmaをファインチューニングし、10-39%から90-97%のtool calling精度を達成した事例を分析します。スケーリング法則だけが答えではない証拠です。