api14
API-Schlüssel holen

Wir verwenden Cookies. Cookies und Browserspeicher halten Sie angemeldet und merken sich Ihre Einstellungen. Mit Ihrer Zustimmung messen wir außerdem, wie die Website genutzt wird. Sie können jederzeit . Siehe unsere Cookie-Richtlinie.

Provider-Routing & Fallbacks

Endpunkte

Provider-Routing & Fallbacks

Wählen, ordnen und filtern Sie Upstream-Provider mit dem provider-Objekt und weichen Sie mit dem models-Array auf andere Modelle aus.

Im Playground testen

Viele Modelle werden von mehreren Upstream-Providern bereitgestellt, jeweils mit eigenem Preis, eigener Geschwindigkeit und eigener Datenrichtlinie. Standardmäßig werden Anfragen nach Preis und Verfügbarkeit auf die Provider verteilt und fallen auf einen anderen Provider zurück, wenn einer ausfällt. Mit dem Objekt provider ändern Sie das, mit models weichen Sie auf andere Modelle aus.

Das Objekt provider

FeldTypBeschreibung
orderstring[]Provider, die zuerst und in dieser Reihenfolge versucht werden, z. B. ["Anthropic", "Amazon Bedrock"].
allow_fallbacksbooleanfalse verhindert, dass die Anfrage an Provider außerhalb von order oder only geht (Standard true).
onlystring[]Nur diese Provider zulassen.
ignorestring[]Diese Provider nie verwenden.
sortstring"price", "throughput" oder "latency" statt Lastverteilung.
data_collectionstring"deny" schließt Provider aus, die Prompts speichern oder zum Training nutzen dürfen. "allow" ist der Standard.
require_parametersbooleanNur Provider verwenden, die jeden Parameter Ihrer Anfrage unterstützen (z. B. tools, response_format).
quantizationsstring[]Erlaubte Genauigkeiten, z. B. ["fp8", "bf16"].
max_priceobjectPreisobergrenzen in USD pro Million Tokens, z. B. { "prompt": 1, "completion": 3 }.
{
  "model": "meta-llama/llama-3.3-70b-instruct",
  "messages": [{ "role": "user", "content": "Hello" }],
  "provider": {
    "order": ["Groq", "Fireworks"],
    "allow_fallbacks": true,
    "data_collection": "deny",
    "sort": "throughput"
  }
}

Die Variante :nitro ist eine Kurzform für sort: "throughput", und :floor eine Kurzform für sort: "price". Siehe Modell-IDs.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "openai/gpt-5-mini",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Modell-Fallbacks mit models

Übergeben Sie eine Liste von Modellen. Fällt das erste aus (Ausfall, Rate Limit, Moderation oder Kontextlängenfehler), wird das nächste versucht:

{
  "models": ["anthropic/claude-sonnet-4.5", "openai/gpt-5-mini", "google/gemini-2.5-flash"],
  "messages": [{ "role": "user", "content": "Summarize this ticket." }]
}
  • model ist optional, wenn models gesetzt ist. Senden Sie beides, wird model zuerst versucht.
  • Jedes Modell in der Liste muss die Gateway-Prüfungen bestehen, bevor die Anfrage gesendet wird: Es muss existieren und aktiviert sein, auf der Modell-Allowlist Ihres Schlüssels stehen und in Ihrem Plan enthalten sein. Ein einziges Modell, das die Prüfungen nicht besteht, lehnt die gesamte Anfrage ab (403 model_not_allowed, 403 plan_required oder 404 model_not_found).
  • Berechnet wird nur das Modell, das geantwortet hat, zu seinem eigenen Preis. Das Feld model der Antwort zeigt, welches es war.

Antwort

{
  "id": "gen-1760000000-route",
  "model": "openai/gpt-5-mini",
  "provider": "OpenAI",
  "choices": [{ "index": 0, "finish_reason": "stop", "message": { "role": "assistant", "content": "..." } }],
  "usage": { "prompt_tokens": 140, "completion_tokens": 60, "total_tokens": 200, "cost": 0.000155 }
}

provider zeigt, welcher Upstream-Provider die Anfrage bedient hat. Generation abrufen zeigt die vollständigen Routing-Details.

Fehler

Passt kein Provider zu Ihren Filtern (z. B. only zusammen mit require_parameters), liefert der Upstream 404 "No endpoints found". Andere Fehler entsprechen denen von Chat Completions. Siehe Fehler.