Prompt-cachning

Prompt-cachning återanvänder det bearbetade prefixet av en lång prompt, till exempel en systemprompt, dokument eller verktygsdefinitioner, mellan anrop. Cacheläsningar kostar mycket mindre än vanliga indata-tokens. api14 skickar vidare leverantörens cachepriser rakt av: input_cache_read och input_cache_write listas för varje modell i Modeller.

Automatisk cachning

De här leverantörerna cachar på egen hand. Du behöver inte ändra något:

Lägg de delar som inte ändras i början av prompten och de delar som ändras i slutet, så att prefixet matchar mellan anrop.

Explicit cachning med cache_control

Anthropic Claude (och Geminis explicita cachning) behöver brytpunkter. Lägg till cache_control på en textdel:

{
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "system",
      "content": [
        { "type": "text", "text": "You are a contracts assistant." },
        {
          "type": "text",
          "text": "<the full 40-page agreement text>",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    },
    { "role": "user", "content": "Which clause covers termination?" }
  ]
}

• Anthropic tillåter upp till 4 brytpunkter. Cachen lever i ungefär 5 minuter och förnyas vid varje träff. Använd "ttl": "1h" för en längre cache, vilket kostar mer att skriva.
• Cacheskrivningar hos Anthropic kostar ungefär 1,25× indata och läsningar ungefär 0,1×.
• För att fortsätta träffa samma leverantörs cache, lägg till provider: { "order": ["Anthropic"], "allow_fallbacks": false } om du behöver det.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Läsa cacheanvändning

Objektet usage visar cachade tokens, och cost inkluderar redan rabatten:

{
  "usage": {
    "prompt_tokens": 10450,
    "completion_tokens": 120,
    "total_tokens": 10570,
    "prompt_tokens_details": { "cached_tokens": 10200 },
    "cost": 0.004863
  }
}

cached_tokens visas också i dina användningsloggar i dashboarden. Generationsuppslag visar hela uppdelningen, inklusive cache_discount.

Fel

Cachning orsakar aldrig egna fel. En felformaterad cache_control ignoreras eller avvisas av leverantören med ett 400. Se Fel.