DDR5 RDIMM vs RTX 3090 — 로컬 LLM의 GB 단가 역전 시대
DDR5 RDIMM의 GB 단가가 RTX 3090 VRAM을 하회하면서 로컬 LLM 하드웨어 선택의 전환점이 도래했습니다. CPU 추론과 GPU 추론의 비용 구조를 분석합니다.
태그
gpu
4개 글
BarraCUDA — CUDA 코드를 AMD GPU에서 돌리는 오픈소스 컴파일러
CUDA 코드를 AMD GPU에서 직접 실행하는 오픈소스 컴파일러 BarraCUDA를 심층 분석합니다. LLVM 의존성 없이 15,000줄 C99로 구현된 컴파일러 아키텍처, 지원 CUDA 기능 목록, GPU 벤더 종속에서 벗어나는 전략을 실제 코드 예시와 함께 설명합니다.
Qwen3-Coder-Next 80B를 8GB VRAM으로 실행하는 방법
80B 파라미터 코딩 AI 모델을 8GB VRAM 소비자 GPU에서 실행하는 양자화 및 레이지 로딩 기법을 분석합니다. 로컬 LLM 코딩의 실용성과 한계를 다룹니다.
NVIDIA DGX Spark의 CUDA 호환성 문제 — 개인용 AI 워크스테이션의 현실
NVIDIA DGX Spark의 sm121 아키텍처가 초래한 CUDA 소프트웨어 호환성 문제와 핸드헬드 게이밍 칩 유용 의혹을 기술적으로 분석합니다. Triton 미지원, FP4/FP6 양자화 불가 등 실제 호환성 실태와 소비자 구매 판단에 필요한 체크리스트를 정리합니다.