用 SSE 流式输出 LLM 响应:实战指南

用 SSE 流式输出 LLM 响应:实战指南

## 为什么流式输出很重要

聊天产品只要第一段文字立刻出现,体感速度就会明显提升。Server-Sent Events 让浏览器分段接收长回答,不必等整个 completion 结束。通过 ClaudeN AI,你可以用熟悉的 OpenAI 流式写法,用一把 API key 同时调用 Claude、GPT 与 Gemini。

## Python 流式示例

``python
from openai import OpenAI

client = OpenAI(api_key="YOUR_CLAUDEN_KEY", base_url="https://clauden.ai/v1")

resp = client.chat.completions.create(
model="claude-3-5-sonnet",
messages=[{"role": "user", "content": "Explain this in plain English."}],
stream=True,
)

for chunk in resp:
print(chunk.choices[0].delta.content or "", end="", flush=True)
``

## 上线技巧

API key 应放在后端,前端只接收后端转发的 stream。流式路由 timeout 要更长,token 用量应在最后一个 chunk 后记录。注册 ClaudeN AI,可用 $5 免费额度测试真实流式负载。

注册即享 $5 免费额度

免费开始

← ClaudeN AI 博客

注册即享 $5 免费额度