#ai-architecture

Olmo Hybrid — Transformer + リニアRNNハイブリッドでデータ効率2倍を達成

AI2のOlmo Hybridは、TransformerとDeltaNetを3:1の比率で組み合わせ、49%少ないトークンで同等の精度を実現します。ハイブリッドLLMアーキテクチャの仕組み、性能ベンチマーク、LLM開発者のための実践的な示唆を詳しく解説します。