用 SSE 串流 LLM 回應:實戰指南

用 SSE 串流 LLM 回應:實戰指南

## 為什麼串流很重要

聊天產品只要第一段文字立刻出現,體感速度就會大幅提升。Server-Sent Events 讓瀏覽器分段接收長回答,不必等整個 completion 結束。透過 ClaudeN AI,你可以用熟悉的 OpenAI 串流寫法,同一把 API key 同時呼叫 Claude、GPT 與 Gemini。

## Python 串流範例

``python
from openai import OpenAI

client = OpenAI(api_key="YOUR_CLAUDEN_KEY", base_url="https://clauden.ai/v1")

resp = client.chat.completions.create(
model="claude-3-5-sonnet",
messages=[{"role": "user", "content": "Explain this in plain English."}],
stream=True,
)

for chunk in resp:
print(chunk.choices[0].delta.content or "", end="", flush=True)
``

## 上線技巧

API key 應放在後端,前端只接收後端轉送的 stream。串流路由 timeout 要更長,token 用量應在最後一個 chunk 後記錄。註冊 ClaudeN AI,可用 $5 免費額度測試真實串流負載。

即刻註冊,送 $5 免費額度

免費開始

← ClaudeN AI 部落格

即刻註冊,送 $5 免費額度