Ollama + FastAPIでローカルLLM APIサーバーを作る — 開発からDockerデプロイまで完全ガイド
Ollama REST APIをFastAPIでラッピングし、SSEストリーミング・ヘルスチェック・Docker Composeデプロイを備えたプロダクション用ローカルLLMサーバーを段階的に構築する実践ガイド。Llama 3.2やMistralなど複数モデルの実行ログとAPIテスト例も掲載しています。
タグ
FastAPI
2件の記事
FastAPI + Claude API ストリーミングバックエンド — SSE・リトライ・エラー復旧 実践ガイド
FastAPIとAnthropic SDKでプロダクションレベルのストリーミングAIバックエンドを構築する完全ガイド。SSEストリーミングエンドポイント実装、レートリミット指数バックオフリトライ、エラー分類戦略、トークンストリーミング最適化、Dockerコンテナデプロイをステップごとにコード例付きで解説します。