Qwen3-Coder-Next 80Bを8GB VRAMで動かす方法 — 量子化テクニック解説

概要

80Bパラメータのコーディング特化モデルを8GB VRAMのノートPC用GPUで実行できるとしたら？Redditのr/LocalLLaMAコミュニティでnalexandという開発者がこれを実現したプロジェクトを公開しました。Qwen3-Coder-Next 80BをRTX 3070Ti（8GB VRAM）で1.2 tokens/sで動作させることに成功したのです。

本記事では、そのプロジェクトの核心技術であるFP8量子化、エキスパートレイジーローディング、キャッシュ最適化戦略を分析し、消費者GPUでの大規模LLM実行の実用的な意味と限界を考察します。

核心課題：80Bモデルを8GBに収める

なぜ不可能に見えるのか

Qwen3-Coder-Nextは80Bパラメータモデルです。FP8量子化状態でもモデルサイズは約80GBに達します。8GB VRAM + 32GB RAM環境では、モデル全体をメモリに載せること自体が不可能です。

最初の試み：ディスクオフローディング

開発者はまずHugging Faceのaccelerateライブラリでdevice="auto"を使用したディスクオフローディングを試みました。結果は惨憺たるものでした。

• 速度：1トークン / 255秒
• 事実上使用不可能なレベル

これはディスクI/Oボトルネックが推論速度を極端に低下させた典型的な事例です。

解決策：エキスパートレイジーローディング + キャッシュ最適化

MoEアーキテクチャの特性を活用

核心的なインサイトはモデル構造の分析から得られました。80Bモデルの大型テンソルの大半はMLPエキスパートに集中しており、残りのコンポーネントは約4.6GBでVRAMに十分収まります。

graph LR
    A[80Bモデル<br/>~80GB FP8] --> B[非エキスパート層<br/>~4.6GB]
    A --> C[MLPエキスパート<br/>~75.4GB]
    B --> D[VRAMに常駐]
    C --> E[SSD/RAMから<br/>レイジーローディング]

カスタムレイジーローディングシステム

開発者はMLPエキスパート用のカスタムレイジーローディングシステムを構築しました。

• 2層キャッシュ：VRAMキャッシュ + Pinned RAMキャッシュ
• キャッシュヒット率：最大85%
• 速度向上：255秒/トークン → 1.2 tokens/s（約300倍の高速化）

キャッシュパラメータチューニング

# VRAMキャッシュサイズ（各18単位 ≈ 約3GB）
self.max_gpu_cache = 18

# RAMキャッシュサイズ（Pinnableメモリベース）
self.max_ram_cache = 100

GPU	推奨max_gpu_cache	予想キャッシュヒット率
RTX 3070Ti (8GB)	18	~85%
RTX 5090 (32GB)	120	>85%

技術スタックとインストール方法

必要環境

• モデル：Qwen/Qwen3-Coder-Next-FP8（Hugging Faceからダウンロード）
• GPU：8GB+ VRAM
• RAM：32GB+（Pinnableメモリは通常RAMの1/2）
• ストレージ：高速NVMe SSD推奨（PCIe 5.0 RAID 0で最大30GB/s）

インストール手順

# 1. モデルダウンロード
hf-download Qwen/Qwen3-Coder-Next-FP8

# 2. transformersライブラリのモデリングファイルを差し替え
# transformers/models/qwen3_next/modeling_qwen3_next.py を置換

# 3. MLPエキスパート抽出
python extract_mlp.py

# 4. チャットボット起動
python coder_80b_next_chat.py

実際のパフォーマンスベンチマーク

開発者が公開したキャッシュウォームアップテストの結果です。

プロンプト	トークン数	時間	速度
最初の “hi”	11	21.25s	0.52 t/s
2回目の “hi”	26	25.36s	1.03 t/s
”all good”	50	41.70s	1.20 t/s
長い応答（807トークン）	807	668.81s	1.21 t/s

キャッシュウォームアップ後は安定して~1.2 t/sを維持します。最初のリクエストはキャッシュミスのため遅くなりますが、以降のリクエストからキャッシュヒット率が向上し速度が改善されます。

実用性と限界

メリット

• コスト：クラウドAPI不要でローカルから80Bコーディングモデルを実行可能
• プライバシー：コードが外部サーバーに送信されない
• オフライン：インターネット接続なしで使用可能

限界

• 速度：1.2 t/sはリアルタイムコーディング補助には不十分（ClaudeやGPT APIは30-80 t/s）
• 初期レイテンシ：キャッシュウォームアップに時間が必要
• インストールの複雑さ：transformersライブラリのファイルを直接修正する必要あり
• メモリ要件：32GB RAMは依然として必要

今後の展望

GPU	VRAM	予想速度
RTX 3070Ti	8GB	~1.2 t/s（確認済み）
RTX 4090	24GB	5-10 t/s（推定）
RTX 5090	32GB	20+ t/s（開発者予想）

RTX 5090の32GB VRAMと高いメモリバンド幅でmax_gpu_cache=120設定時、20 t/s以上が期待されます。

ローカルLLMコーディングの最前線

このプロジェクトはローカルLLMコミュニティの「不可能を可能に」する精神をよく体現しています。nalexand開発者は以前にもLTX-2、Wan2.2、HeartMula、ACE-Step 1.5など様々な大規模モデルを低スペックGPUで最適化した実績があります。

核心的な教訓は以下の通りです。

1. モデル構造分析が最適化の出発点：MoEモデルのエキスパート分布を把握すれば選択的ローディングが可能
2. 多層キャッシュが鍵：VRAM → Pinned RAM → SSD順のキャッシュ戦略が300倍の高速化を実現
3. ハードウェアの進化が格差を縮める：次世代GPUでは実用的な速度に到達する可能性

結論

Qwen3-Coder-Next 80Bを8GB VRAMで実行することは技術的に印象的な成果です。現在の1.2 t/sの速度はリアルタイムコーディング補助には不十分ですが、次世代GPUと最適化技法の発展により、消費者ハードウェアでの大規模コーディングモデル実行がますます現実に近づいています。

ローカルLLMに関心のある開発者はnalexandのGitHubリポジトリを確認し、自身のハードウェアで直接実験してみることをお勧めします。

参考資料

• Qwen3-Coder-OPTIMIZED GitHub
• Reddit r/LocalLLaMA 元記事
• Qwen3-Coder-Next-FP8モデル（Hugging Face）