TurboQuant：KVキャッシュを3ビットに圧縮しても精度を維持
GoogleのTurboQuantが示すPolarQuant＋QJL手法の仕組みを解説。KVキャッシュメモリ6倍削減・ アテンション8倍高速化が推論コストに持つ本当の意味。
タグ
ai-ml
4件の記事
Vibe Physics — 物理学教授がClaudeに論文を書かせてみた
Anthropic Science ブログの初投稿で、ハーバード物理学教授 Matthew Schwartz が Claude を「大学院生」として指導した実験を分析します。110回のドラフト、36Mトークン、そして2週間で完成した論文。
Gemini Embedding 2 — マルチモーダル埋め込みがRAGパイプラインを変える
GoogleのネイティブマルチモーダルエンベディングモデルGemini Embedding 2の核心機能と、既存テキスト専用モデル対比のアーキテクチャ変化、RAGパイプラインへの実践的な適用方法をEM視点でまとめます。
レコメンデーションシステム革新：78,000トークンをゼロにしたメタデータ最適化の旅
コンテンツ推薦システムのトークン使用量を100%削減し、実行時間を99%短縮したメタデータ最適化の実践事例。post-metadata.jsonキャッシュとハッシュ比較による増分処理でコストを大幅削減した全工程を解説します。