Używamy plików cookie. Pliki cookie i pamięć przeglądarki pozwalają utrzymać logowanie i zapamiętać Twoje preferencje. Za Twoją zgodą mierzymy też, jak korzystasz ze strony. W każdej chwili możesz . Zobacz naszą politykę cookie.
baseten/elephant-1Korzysta z Twojego salda według powyższych cen. Nowe konta zaczynają z darmowym użyciem.
Ustawienia
Baseten: Elephant 1 to model decyzyjny od Baseten, opracowany przez Base Labs, zespół badawczy firmy. Jest zbudowany na Qwen3.5-9B i ma 9B parametrów. Zamiast generować swobodną rozmowę, model jest zaprojektowany do zwracania decyzji, co umieszcza go w kategorii decisions na api14. Jeśli budujesz system, który potrzebuje modelu podejmującego wybór, a nie tworzącego prozę, to jest właśnie ten rodzaj modelu do oceny.
Model przyjmuje dane wejściowe tekstowe i zwraca decyzje jako dane wyjściowe. Jego okno kontekstu wynosi 16 384 tokeny, a maksymalna długość wyjścia to 14 745 tokenów. Dane wejściowe mogą przyjmować formę stanu, podanego jako tekst lub JSON, wraz z typowanymi pytaniami. Obsługiwane typy pytań to tak/nie, wielokrotny wybór oraz porządkowy. Ponieważ modalnością wyjściową są decyzje, należy oczekiwać ustrukturyzowanych odpowiedzi na zadane pytania, a nie tekstu narracyjnego, i dostosować do tego logikę parsowania oraz dalszego przetwarzania.
Praktyczne przypadki użycia wynikają bezpośrednio z tego projektu. Stan plus pytanie tak/nie pasuje do bram zatwierdzania, sprawdzania kwalifikowalności i screeningu polityk, gdzie potok przetwarzania potrzebuje jednoznacznego werdyktu dotyczącego rekordu lub żądania. Pytania wielokrotnego wyboru pasują do zadań routingu i klasyfikacji, takich jak kierowanie przychodzącego zgłoszenia do właściwej kolejki lub wybór kategorii dla dokumentu. Pytania porządkowe są przydatne, gdy odpowiedź znajduje się na skali, na przykład przy ocenie dotkliwości lub priorytetu na podstawie dostarczonego stanu. Podanie stanu jako JSON pasuje do przepływów pracy, w których dane wejściowe już pochodzą z API lub bazy danych i chcesz je przekazać bez przekształcania ich w prozę. W każdym przypadku model odczytuje stan i odpowiada na typowane pytanie, co zawęża dane wyjściowe i czyni je łatwiejszymi do walidacji niż wolny tekst.
Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "baseten/elephant-1". Ponieważ interfejs jest zgodny z formatem OpenAI, istniejące biblioteki klienckie OpenAI i wzorce żądań są przenośne, wystarczy podmienić identyfikator modelu. Model nie wymienia żadnych obsługiwanych parametrów żądania poza tym, co API przyjmuje domyślnie, więc ogranicz żądania do standardowych pól i unikaj polegania na opcjonalnych parametrach dostrajania, takich jak temperature lub top_p; sprawdź aktualną listę parametrów na stronie, zanim oprzesz na nich swoją implementację. Okno kontekstu wynoszące 16 384 tokeny ogranicza, ile stanu i ile pytań możesz wysłać w jednym żądaniu, więc utrzymuj dane wejściowe w tym budżecie.
Model przyjmuje tekst, a zwraca decyzje, więc nie nadaje się do pracy wymagającej prozy, podsumowań lub innego generowanego tekstu; lepszym wyborem będzie tam ogólny model generowania tekstu. Brak obsługiwanych parametrów oznacza również, że nie możesz kształtować zachowania próbkowania poprzez żądanie, co ma znaczenie, jeśli potrzebujesz zróżnicowanych lub kreatywnych wyników. Do zadań decyzyjnych na ograniczonym stanie, z typowanymi pytaniami i kontekstem mieszczącym się w 16 384 tokenach, Elephant 1 jest skupioną opcją do przetestowania na własnych obciążeniach.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/decisions", { body: {
"model": "baseten/elephant-1",
"state": "Customer: I was charged twice for my order and want my money back.",
"questions": {
"team": {
"type": "choice",
"instructions": "Which team should handle this message?",
"criteria": {
"billing": "Payments, refunds, invoices",
"support": "Product questions and bugs",
"sales": "Pricing and new purchases"
}
},
"urgent": {
"type": "noul",
"instructions": "Does this need a reply today?",
"criteria": {
"true": "Money, outage or legal risk",
"false": "Can wait"
}
}
}
} });
console.log(result.answers);
Ta społeczność nie ma jeszcze wątków. Załóż pierwszy wątek o Baseten: Elephant 1.