Wir verwenden Cookies. Cookies und Browserspeicher halten Sie angemeldet und merken sich Ihre Einstellungen. Mit Ihrer Zustimmung messen wir außerdem, wie die Website genutzt wird. Sie können jederzeit . Siehe unsere Cookie-Richtlinie.
baseten/elephant-1Läuft über Ihr Guthaben zu den oben genannten Preisen. Neue Konten starten mit kostenloser Nutzung.
Einstellungen
Baseten: Elephant 1 ist ein Entscheidungsmodell von Baseten, entwickelt von Base Labs, dem Forschungsteam des Unternehmens. Es basiert auf Qwen3.5-9B und hat 9B Parameter. Statt freiformulierte Konversation zu erzeugen, ist das Modell darauf ausgelegt, Entscheidungen zurückzugeben, was es in die Kategorie decisions von api14 einordnet. Wenn Sie ein System bauen, das ein Modell benötigt, das sich auf eine Wahl festlegt, statt Prosa zu erzeugen, ist dies die Art von Modell, die Sie evaluieren sollten.
Das Modell akzeptiert Texteingabe und erzeugt Entscheidungen als Ausgabe. Sein Kontextfenster beträgt 16.384 Token, und die maximale Ausgabe beträgt 14.745 Token. Eingaben können in Form eines Zustands vorliegen, der als Text oder JSON bereitgestellt wird, zusammen mit typisierten Fragen. Die unterstützten Fragetypen sind Ja/Nein, Multiple Choice und ordinal. Da die Ausgabemodalität decisions ist, sollten Sie strukturierte Antworten auf Ihre Fragen erwarten statt erzählenden Text, und Ihre Parsing- und nachgelagerte Logik darauf ausrichten.
Die praktischen Anwendungsfälle ergeben sich direkt aus diesem Design. Ein Zustand plus eine Ja/Nein-Frage eignet sich für Genehmigungsschranken, Berechtigungsprüfungen und Richtlinienprüfung, wo eine Pipeline ein klares Urteil über einen Datensatz oder eine Anfrage benötigt. Multiple-Choice-Fragen passen zu Routing- und Klassifizierungsaufgaben, etwa ein eingehendes Ticket an die richtige Warteschlange zu senden oder eine Kategorie für ein Dokument auszuwählen. Ordinale Fragen sind nützlich, wenn die Antwort auf einer Skala liegt, zum Beispiel die Einstufung von Schweregrad oder Priorität aus einem gelieferten Zustand. Den Zustand als JSON bereitzustellen passt zu Workflows, bei denen die Eingabe bereits aus einer API oder Datenbank kommt und Sie sie durchreichen möchten, ohne sie in Prosa umzuformen. In jedem Fall liest das Modell den Zustand und beantwortet die typisierte Frage, was die Ausgabe eng hält und leichter zu validieren macht als Freitext.
Sie rufen das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID "baseten/elephant-1" auf. Da die Schnittstelle dem OpenAI-Format folgt, lassen sich bestehende OpenAI-Client-Bibliotheken und Anforderungsmuster übernehmen, wobei die Modell-ID ausgetauscht wird. Das Modell listet keine unterstützten Anforderungsparameter über die hinaus auf, die die API standardmäßig akzeptiert, also halten Sie Anfragen auf die Standardfelder beschränkt und verlassen Sie sich nicht auf optionale Tuning-Parameter wie temperature oder top_p; prüfen Sie die aktuelle Parameterliste auf der Seite, bevor Sie etwas darauf aufbauen. Das Kontextfenster von 16.384 Token begrenzt, wie viel Zustand und wie viele Fragen Sie in einer einzelnen Anfrage senden können, also halten Sie Eingaben innerhalb dieses Budgets.
Das Modell ist Text rein und Entscheidungen raus, es passt daher nicht zu Arbeit, die Prosa, Zusammenfassungen oder anderen generierten Text benötigt; ein allgemeines Textgenerierungsmodell ist dort die bessere Wahl. Das Fehlen unterstützter Parameter bedeutet außerdem, dass Sie das Sampling-Verhalten nicht über die Anfrage steuern können, was wichtig ist, wenn Sie variierte oder kreative Ausgabe benötigen. Für Entscheidungsaufgaben über einen begrenzten Zustand, mit typisierten Fragen und einem Kontext, der in 16.384 Token passt, ist Elephant 1 eine fokussierte Option, die Sie gegen Ihre eigenen Workloads testen können.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/decisions", { body: {
"model": "baseten/elephant-1",
"state": "Customer: I was charged twice for my order and want my money back.",
"questions": {
"team": {
"type": "choice",
"instructions": "Which team should handle this message?",
"criteria": {
"billing": "Payments, refunds, invoices",
"support": "Product questions and bugs",
"sales": "Pricing and new purchases"
}
},
"urgent": {
"type": "noul",
"instructions": "Does this need a reply today?",
"criteria": {
"true": "Money, outage or legal risk",
"false": "Can wait"
}
}
}
} });
console.log(result.answers);
In dieser Community gibt es noch keine Themen. Eröffnen Sie das erste zu Baseten: Elephant 1.