CPUだけで1.2時間でLLM訓練 — MatMul-Freeアーキテクチャの可能性
GPUなしCPUのみで1.2時間、1,360万パラメータの言語モデルを訓練したFlashLM v3を分析します。乗算を排した三値重みによるMatMul-Freeアーキテクチャの原理とメモリ・省エネ効果、エッジAIや低コスト学習への示唆までを整理しました。
タグ
machine-learning
2件の記事
ICML論文にプロンプトインジェクション埋め込み — 学術AI査読の脆弱性
ICMLに投稿された論文PDFに「特定の語句をレビューに含めよ」というプロンプトインジェクションが隠されていた事件が発覚しました。AI査読に依存する学術peer reviewの構造的脆弱性と攻撃の仕組み、学界が講じるべき防御策までを技術的に解説します。