LLM API コストを下げる 7 つのトークン節約術

## コストは設計

LLM コストは context、モデル、出力長、cache で変わります。古い会話を削り、短い system prompt を使い、max_tokens を設定し、簡単なタスクは安いモデルへ回します。

``python
from openai import OpenAI
client = OpenAI(api_key="YOUR_CLAUDEN_KEY", base_url="https://clauden.ai/v1")
resp = client.chat.completions.create(model="gemini-1.5-pro", messages=[{"role":"user","content":"Summarize in 5 bullets."}], max_tokens=300)
``

ClaudeN AI の $5 無料クレジットで実際の prompt を測定できます。