प्रॉम्प्ट कैशिंग

प्रॉम्प्ट कैशिंग किसी लंबे प्रॉम्प्ट के प्रोसेस किए हुए प्रीफ़िक्स (जैसे सिस्टम प्रॉम्प्ट, दस्तावेज़ या टूल परिभाषाएँ) को अनुरोधों के बीच दोबारा इस्तेमाल करती है। कैश रीड की लागत सामान्य इनपुट टोकन से काफ़ी कम होती है। api14 प्रोवाइडर की कैश कीमतें ज्यों की त्यों आगे पास करता है: मॉडल में हर मॉडल के लिए input_cache_read और input_cache_write सूचीबद्ध हैं।

स्वचालित कैशिंग

ये प्रोवाइडर खुद कैश करते हैं। आपको कुछ बदलने की ज़रूरत नहीं:

जो हिस्से नहीं बदलते उन्हें प्रॉम्प्ट की शुरुआत में और जो बदलते हैं उन्हें अंत में रखें, ताकि अनुरोधों के बीच प्रीफ़िक्स मेल खाए।

cache_control के साथ स्पष्ट कैशिंग

Anthropic Claude (और Gemini की स्पष्ट कैशिंग) को ब्रेकपॉइंट चाहिए। किसी टेक्स्ट कंटेंट पार्ट में cache_control जोड़ें:

{
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "system",
      "content": [
        { "type": "text", "text": "You are a contracts assistant." },
        {
          "type": "text",
          "text": "<the full 40-page agreement text>",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    },
    { "role": "user", "content": "Which clause covers termination?" }
  ]
}

• Anthropic अधिकतम 4 ब्रेकपॉइंट की अनुमति देता है। कैश लगभग 5 मिनट रहता है और हर हिट पर ताज़ा होता है। लंबे कैश के लिए "ttl": "1h" इस्तेमाल करें, जिसे लिखना महँगा पड़ता है।
• Anthropic पर कैश राइट की लागत लगभग 1.25× इनपुट और रीड की लगभग 0.1× है।
• उसी प्रोवाइडर के कैश पर हिट करते रहने के लिए, ज़रूरत हो तो provider: { "order": ["Anthropic"], "allow_fallbacks": false } जोड़ें।

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

कैश उपयोग पढ़ना

usage ऑब्जेक्ट कैश्ड टोकन दिखाता है, और cost में छूट पहले से शामिल है:

{
  "usage": {
    "prompt_tokens": 10450,
    "completion_tokens": 120,
    "total_tokens": 10570,
    "prompt_tokens_details": { "cached_tokens": 10200 },
    "cost": 0.004863
  }
}

cached_tokens डैशबोर्ड में आपके उपयोग लॉग में भी दिखता है। जनरेशन लुकअप cache_discount सहित पूरा विवरण दिखाता है।

त्रुटियाँ

कैशिंग से कभी अपनी कोई त्रुटि नहीं होती। गलत रूप में दिया गया cache_control प्रोवाइडर द्वारा अनदेखा किया जाता है या 400 के साथ अस्वीकार होता है। देखें त्रुटियाँ।