Prompt Caching

Prompt Caching verwendet das verarbeitete Präfix eines langen Prompts, etwa einen System-Prompt, Dokumente oder Tool-Definitionen, über mehrere Anfragen hinweg wieder. Cache-Lesezugriffe kosten deutlich weniger als normale Eingabe-Tokens. api14 reicht die Cache-Preise des Providers direkt durch: input_cache_read und input_cache_write sind für jedes Modell unter Modelle aufgeführt.

Automatisches Caching

Diese Provider cachen von selbst. Sie müssen nichts ändern:

Stellen Sie die unveränderlichen Teile an den Anfang des Prompts und die veränderlichen ans Ende, damit das Präfix zwischen Anfragen übereinstimmt.

Explizites Caching mit cache_control

Anthropic Claude (und das explizite Caching von Gemini) benötigen Breakpoints. Fügen Sie cache_control zu einem Text-Content-Part hinzu:

{
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "system",
      "content": [
        { "type": "text", "text": "You are a contracts assistant." },
        {
          "type": "text",
          "text": "<the full 40-page agreement text>",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    },
    { "role": "user", "content": "Which clause covers termination?" }
  ]
}

• Anthropic erlaubt bis zu 4 Breakpoints. Der Cache lebt etwa 5 Minuten und wird bei jedem Treffer aufgefrischt. Verwenden Sie "ttl": "1h" für einen längeren Cache, dessen Schreiben mehr kostet.
• Cache-Schreibzugriffe kosten bei Anthropic etwa 1,25× Eingabe, Lesezugriffe etwa 0,1×.
• Um weiter den Cache desselben Providers zu treffen, fügen Sie bei Bedarf provider: { "order": ["Anthropic"], "allow_fallbacks": false } hinzu.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Cache-Nutzung auslesen

Das Objekt usage zeigt gecachte Tokens, und cost enthält den Rabatt bereits:

{
  "usage": {
    "prompt_tokens": 10450,
    "completion_tokens": 120,
    "total_tokens": 10570,
    "prompt_tokens_details": { "cached_tokens": 10200 },
    "cost": 0.004863
  }
}

cached_tokens erscheint auch in Ihren Nutzungsprotokollen im Dashboard. Generation abrufen zeigt die vollständige Aufschlüsselung, einschließlich cache_discount.

Fehler

Caching verursacht keine eigenen Fehler. Ein fehlerhaftes cache_control wird vom Provider ignoriert oder mit 400 abgelehnt. Siehe Fehler.