प्रोवाइडर रूटिंग और फ़ॉलबैक

कई मॉडल को एक से अधिक अपस्ट्रीम प्रोवाइडर परोसते हैं, और हर प्रोवाइडर की अपनी कीमत, गति और डेटा नीति होती है। डिफ़ॉल्ट रूप से अनुरोध कीमत और अपटाइम के आधार पर प्रोवाइडरों में बाँटे जाते हैं, और एक के विफल होने पर दूसरे प्रोवाइडर पर चले जाते हैं। इसे बदलने के लिए provider ऑब्जेक्ट और अलग-अलग मॉडल के बीच फ़ॉलबैक के लिए models इस्तेमाल करें।

provider ऑब्जेक्ट

{
  "model": "meta-llama/llama-3.3-70b-instruct",
  "messages": [{ "role": "user", "content": "Hello" }],
  "provider": {
    "order": ["Groq", "Fireworks"],
    "allow_fallbacks": true,
    "data_collection": "deny",
    "sort": "throughput"
  }
}

:nitro वेरिएंट sort: "throughput" का शॉर्टकट है, और :floor sort: "price" का शॉर्टकट है। देखें मॉडल id।

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "openai/gpt-5-mini",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

models के साथ मॉडल फ़ॉलबैक

मॉडल की सूची पास करें। यदि पहला विफल हो (आउटेज, रेट लिमिट, मॉडरेशन या कॉन्टेक्स्ट लंबाई की त्रुटि), तो अगला आज़माया जाता है:

{
  "models": ["anthropic/claude-sonnet-4.5", "openai/gpt-5-mini", "google/gemini-2.5-flash"],
  "messages": [{ "role": "user", "content": "Summarize this ticket." }]
}

• models सेट होने पर model वैकल्पिक है। दोनों भेजने पर पहले model आज़माया जाता है।
• सूची के हर मॉडल को अनुरोध भेजे जाने से पहले गेटवे की जाँचें पास करनी होती हैं: वह मौजूद और सक्षम हो, आपकी कुंजी की मॉडल allowlist में हो, और आपके प्लान में शामिल हो। जाँच में विफल एक भी मॉडल पूरे अनुरोध को अस्वीकार करा देता है (403 model_not_allowed, 403 plan_required या 404 model_not_found)।
• बिल केवल उस मॉडल का बनता है जिसने उत्तर दिया, उसी की कीमत पर। प्रतिक्रिया का model फ़ील्ड बताता है कि वह कौन सा था।

प्रतिक्रिया

{
  "id": "gen-1760000000-route",
  "model": "openai/gpt-5-mini",
  "provider": "OpenAI",
  "choices": [{ "index": 0, "finish_reason": "stop", "message": { "role": "assistant", "content": "..." } }],
  "usage": { "prompt_tokens": 140, "completion_tokens": 60, "total_tokens": 200, "cost": 0.000155 }
}

provider दिखाता है कि अनुरोध किस अपस्ट्रीम प्रोवाइडर ने परोसा। जनरेशन लुकअप पूरी रूटिंग जानकारी दिखाता है।

त्रुटियाँ

यदि कोई प्रोवाइडर आपके फ़िल्टर से मेल नहीं खाता (जैसे only के साथ require_parameters), तो अपस्ट्रीम 404 "No endpoints found" लौटाता है। अन्य त्रुटियाँ चैट कंप्लीशन्स जैसी ही हैं। देखें त्रुटियाँ।