Prompt caching

Prompt caching, uzun bir prompt'un işlenmiş önekini (sistem prompt'u, belgeler veya araç tanımları gibi) istekler arasında yeniden kullanır. Önbellek okumaları normal girdi token'larından çok daha ucuzdur. api14, sağlayıcının önbellek fiyatlandırmasını olduğu gibi yansıtır: input_cache_read ve input_cache_write her model için Modeller sayfasında listelenir.

Otomatik önbellekleme

Bu sağlayıcılar kendiliğinden önbellekler. Hiçbir şeyi değiştirmeniz gerekmez:

Değişmeyen kısımları prompt'un başına, değişen kısımları sonuna koyun; böylece önek istekler arasında eşleşir.

cache_control ile açık önbellekleme

Anthropic Claude (ve Gemini açık önbellekleme) kesme noktaları gerektirir. Bir metin içerik parçasına cache_control ekleyin:

{
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "system",
      "content": [
        { "type": "text", "text": "You are a contracts assistant." },
        {
          "type": "text",
          "text": "<the full 40-page agreement text>",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    },
    { "role": "user", "content": "Which clause covers termination?" }
  ]
}

• Anthropic en fazla 4 kesme noktasına izin verir. Önbellek yaklaşık 5 dakika yaşar ve her isabette yenilenir. Daha uzun bir önbellek için "ttl": "1h" kullanın; yazması daha pahalıdır.
• Anthropic'te önbellek yazma yaklaşık 1,25× girdi, okuma yaklaşık 0,1× maliyetindedir.
• Aynı sağlayıcının önbelleğine isabet etmeye devam etmek için gerekirse provider: { "order": ["Anthropic"], "allow_fallbacks": false } ekleyin.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Önbellek kullanımını okuma

usage nesnesi önbelleğe alınmış token'ları gösterir ve cost indirimi zaten içerir:

{
  "usage": {
    "prompt_tokens": 10450,
    "completion_tokens": 120,
    "total_tokens": 10570,
    "prompt_tokens_details": { "cached_tokens": 10200 },
    "cost": 0.004863
  }
}

cached_tokens panelinizdeki kullanım günlüklerinde de görünür. Generation sorgulama, cache_discount dahil tam dökümü gösterir.

Hatalar

Önbellekleme kendi başına hata oluşturmaz. Hatalı biçimlendirilmiş bir cache_control sağlayıcı tarafından yok sayılır veya 400 ile reddedilir. Bkz. Hatalar.