Cache de prompt

Le cache de prompt réutilise le préfixe déjà traité d'un long prompt, comme un prompt système, des documents ou des définitions d'outils, d'une requête à l'autre. Les lectures du cache coûtent beaucoup moins cher que les tokens d'entrée normaux. api14 transmet tel quel les tarifs de cache du fournisseur : input_cache_read et input_cache_write sont indiqués pour chaque modèle dans Modèles.

Cache automatique

Ces fournisseurs mettent en cache d'eux-mêmes. Vous n'avez rien à changer :

Placez au début du prompt les parties qui ne changent pas et à la fin celles qui changent, afin que le préfixe corresponde d'une requête à l'autre.

Cache explicite avec cache_control

Anthropic Claude (et le cache explicite de Gemini) nécessitent des points d'arrêt. Ajoutez cache_control à une partie de contenu texte :

{
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "system",
      "content": [
        { "type": "text", "text": "You are a contracts assistant." },
        {
          "type": "text",
          "text": "<the full 40-page agreement text>",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    },
    { "role": "user", "content": "Which clause covers termination?" }
  ]
}

• Anthropic autorise jusqu'à 4 points d'arrêt. Le cache vit environ 5 minutes et est rafraîchi à chaque lecture. Utilisez "ttl": "1h" pour un cache plus long, dont l'écriture coûte plus cher.
• Les écritures de cache chez Anthropic coûtent environ 1,25× l'entrée, et les lectures environ 0,1×.
• Pour continuer à utiliser le cache du même fournisseur, ajoutez provider: { "order": ["Anthropic"], "allow_fallbacks": false } si nécessaire.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Lire l'utilisation du cache

L'objet usage indique les tokens en cache, et cost inclut déjà la réduction :

{
  "usage": {
    "prompt_tokens": 10450,
    "completion_tokens": 120,
    "total_tokens": 10570,
    "prompt_tokens_details": { "cached_tokens": 10200 },
    "cost": 0.004863
  }
}

cached_tokens apparaît aussi dans vos journaux d'utilisation du tableau de bord. La consultation d'une génération montre le détail complet, y compris cache_discount.

Erreurs

Le cache ne provoque jamais d'erreurs de lui-même. Un cache_control mal formé est ignoré ou rejeté par le fournisseur avec un 400. Voir Erreurs.