Streaming phản hồi LLM bằng SSE: Hướng dẫn thực tế

Streaming phản hồi LLM bằng SSE: Hướng dẫn thực tế

## Vì sao quan trọng

Khi chữ đầu tiên xuất hiện ngay, ứng dụng chat cảm giác nhanh hơn nhiều. SSE gửi câu trả lời dài theo từng phần nhỏ. Với ClaudeN AI, một API key và một base URL có thể stream Claude, GPT và Gemini theo mẫu OpenAI quen thuộc.

## Ví dụ Python

``python
from openai import OpenAI

client = OpenAI(api_key="YOUR_CLAUDEN_KEY", base_url="https://clauden.ai/v1")

resp = client.chat.completions.create(
model="claude-3-5-sonnet",
messages=[{"role": "user", "content": "Explain this in plain English."}],
stream=True,
)

for chunk in resp:
print(chunk.choices[0].delta.content or "", end="", flush=True)
``

## Mẹo production

Giữ API key ở backend, proxy stream đến trình duyệt, đặt timeout dài hơn và ghi token sau chunk cuối. Dùng $5 credit miễn phí để thử workload thật.

Đăng ký và nhận $5 tín dụng miễn phí

Bắt đầu miễn phí

← Blog ClaudeN AI

Đăng ký và nhận $5 tín dụng miễn phí