ASIC 추론 칩으로 Llama 3.1 8B 16,000 tok/s 달성 — GPU 없는 AI 추론 시대
ASIC 전용 칩 스타트업 Taalas가 GPU 없이 Llama 3.1 8B를 16,000 tok/s로 구동합니다. GPU 의존 탈피와 추론 비용 구조 변화를 분석합니다.
archive
칼럼 · 페이지 19
356 · 페이지 19
Consistency Diffusion 언어 모델: AR 대비 14배 빠른 추론
Together AI가 발표한 CDLM은 확산 기반 언어 모델의 추론 속도를 최대 14배 향상시키면서 품질 손실을 최소화합니다. 블록 단위 병렬 생성과 KV 캐싱의 결합이 핵심입니다.
Gemini 3.1 Pro 출시 — Google 차세대 모델의 성능 분석과 의미
Google이 Gemini 3.1 Pro를 발표했습니다. ARC-AGI-2에서 77.1%를 달성하며 추론 능력이 2배 이상 향상된 이 모델의 성능과 Claude와의 비교를 분석합니다.
llama.cpp에 IQ*_K/IQ*_KS 양자화 통합 — ik_llama.cpp 성과가 메인라인으로
ik_llama.cpp에서 개발된 IQ계 양자화 기법이 llama.cpp 본체에 머지됩니다. IQ2_K~IQ4_KS의 정밀도 향상과 로컬 LLM 추론 효율화의 기술적 배경을 해설합니다.
Qwen3 Coder Next llama.cpp 그래프 최적화 — 최대 38% 추론 속도 향상
ggerganov가 llama.cpp 컴퓨트 그래프를 재구성하여 Qwen3 Coder Next 80B 모델의 추론 속도를 최대 38% 향상시킨 최적화 기법과 벤치마크 결과를 분석합니다.
DDR5 RDIMM vs RTX 3090 — 로컬 LLM의 GB 단가 역전 시대
DDR5 RDIMM의 GB 단가가 RTX 3090 VRAM을 하회하면서 로컬 LLM 하드웨어 선택의 전환점이 도래했습니다. CPU 추론과 GPU 추론의 비용 구조를 분석합니다.
Devstral Small 2 24B와 Qwen3 Coder 30B — 소형 코딩 모델 시대의 시작
Mistral Devstral Small 2 24B와 Qwen3 Coder 30B가 동시에 등장했습니다. Raspberry Pi에서도 작동하는 소형 코딩 모델의 비교 분석과 로컬 AI 코딩의 미래를 살펴봅니다.
Kitten TTS V0.8 — 25MB 미만으로 SOTA 달성한 초소형 TTS 모델 완전 해설
14M 파라미터·25MB 미만으로 클라우드 TTS 품질을 구현한 Kitten TTS V0.8을 철저히 분석합니다. 엣지 디바이스 배포 가능성과 로컬 음성 AI 최신 트렌드를 살펴봅니다.
$30 라디오 + 로컬 AI = 인터넷 불필요 스마트홈 — 에지 AI의 실용 사례
Mac mini와 $30 LoRa 라디오만으로 인터넷 없이 음성 제어와 스마트홈 조작을 구현한 실전 사례를 분석합니다. 로컬 AI × IoT의 구체적 구현과 비용을 다룹니다.
BarraCUDA — CUDA 코드를 AMD GPU에서 돌리는 오픈소스 컴파일러
CUDA 코드를 AMD GPU에서 직접 실행하는 오픈소스 컴파일러 BarraCUDA를 심층 분석합니다. LLVM 의존성 없이 15,000줄 C99로 구현된 컴파일러 아키텍처, 지원 CUDA 기능 목록, GPU 벤더 종속에서 벗어나는 전략을 실제 코드 예시와 함께 설명합니다.
Claude Sonnet 4.6 출시 — Anthropic의 중간 모델 전략과 성능 분석
Claude Sonnet 4.6 출시를 계기로 Anthropic의 모델 버전 전략을 심층 분석합니다. Opus·Sonnet·Haiku 라인업 재편, 성능 벤치마크 비교, API 비용 효율성 변화를 정리하고 개발자가 주목해야 할 핵심 업그레이드 포인트를 상세히 짚어드립니다.
DeepSeek V4 출시 임박 — 중국 AI 차세대 모델 경쟁 가속화
DeepSeek V4 출시가 임박한 가운데 Qwen3.5, GLM-5 등 중국 AI 기업들의 모델 러시가 이어지고 있습니다. DeepSeek-R1 대비 추론·코딩 벤치마크 개선점을 비교하고, 오픈소스 LLM의 GPT-4급 근접에 따른 글로벌 AI 경쟁 구도 재편을 분석합니다.