Ollama + FastAPIでローカルLLM APIサーバーを作る — 開発からDockerデプロイまで完全ガイド
Ollama REST APIをFastAPIでラッピングし、SSEストリーミング・ヘルスチェック・Docker Composeデプロイを備えたプロダクション用ローカルLLMサーバーを段階的に構築する実践ガイド。Llama 3.2やMistralなど複数モデルの実行ログとAPIテスト例も掲載しています。
タグ
Docker
2件の記事
Langfuse v3 セルフホスティング完全ガイド — LLMトレーシングをローカルに直接構築する
Langfuse v3 Docker Composeのインストールから Python SDK 4.x の計装コード作成、RAGパイプラインのトレーシングまで。LLMオブザーバビリティをデータ主権を維持しながら自社インフラに構築する実践ガイド。