Ollama + FastAPI 로컬 LLM API 서버 구축 — Docker 프로덕션 배포 가이드
Ollama REST API를 FastAPI로 래핑해 SSE 스트리밍·헬스 체크·Docker 컨테이너 배포까지 갖춘 프로덕션급 로컬 LLM 서버를 단계별로 구축합니다. Llama 3.2, Mistral 등 주요 모델 실행 로그와 API 테스트 예제를 포함한 실전 가이드.
태그
Docker
2개 글
Langfuse v3 셀프호스팅 완전 가이드 — LLM 트레이싱을 로컬에서 직접 구축하기
Langfuse v3를 Docker Compose로 셀프호스팅하는 완전한 실전 가이드. Python SDK 4.x 계측 코드 작성부터 RAG 파이프라인 트레이싱, 비용·지연 모니터링 대시보드 구성까지. 데이터 주권을 지키며 LLM 옵저버빌리티를 자체 인프라에 구축하세요.