Ollama + FastAPI 로컬 LLM API 서버 구축 — Docker 프로덕션 배포 가이드
Ollama REST API를 FastAPI로 래핑해 SSE 스트리밍·헬스 체크·Docker 컨테이너 배포까지 갖춘 프로덕션급 로컬 LLM 서버를 단계별로 구축합니다. Llama 3.2, Mistral 등 주요 모델 실행 로그와 API 테스트 예제를 포함한 실전 가이드.
태그
FastAPI
2개 글
FastAPI + Claude API 스트리밍 백엔드 — SSE·재시도·에러 복구 프로덕션 가이드
FastAPI와 Anthropic SDK로 프로덕션 수준의 스트리밍 AI 백엔드를 구축하는 완전 가이드. SSE 스트리밍 엔드포인트, 레이트 리밋 지수 백오프 재시도, 에러 분류 전략, 토큰 스트리밍 최적화, Docker 컨테이너 배포까지 단계별 코드와 함께 정리합니다.