Używamy plików cookie. Pliki cookie i pamięć przeglądarki pozwalają utrzymać logowanie i zapamiętać Twoje preferencje. Za Twoją zgodą mierzymy też, jak korzystasz ze strony. W każdej chwili możesz . Zobacz naszą politykę cookie.
ricursiveai/ripple-65b-previewKorzysta z Twojego salda według powyższych cen. Nowe konta zaczynają z darmowym użyciem.
Ustawienia
Ripple-65B-Preview to model tekstowy od ricursiveAI, wydany jako kompilacja podglądowa. To model o 65 miliardach parametrów udostępniany w BF16, należący do kategorii tekstowej, więc jest przeznaczony do pracy z językiem, a nie z obrazem, dźwiękiem czy innymi modalnościami. Etykieta podglądu wskazuje, że jest to wczesna wersja modelu, a nie ostateczne, ustabilizowane wydanie.
Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe, z oknem kontekstu wynoszącym 1 048 576 tokenów. To wystarczająco dużo miejsca, aby pomieścić bardzo duże dane wejściowe w jednym żądaniu, takie jak długie dokumenty, rozbudowane pliki kodu czy długie historie rozmów, bez dzielenia ich na wiele wywołań. Maksymalna długość danych wyjściowych to 131 072 tokeny, więc odpowiedzi również mogą być długie. Natywne wywoływanie narzędzi jest częścią samego modelu, co oznacza, że potrafi on zdecydować, kiedy wywołać zdefiniowane przez użytkownika funkcje, i włączyć ich wyniki do swojej odpowiedzi.
Te możliwości wskazują na kilka praktycznych zastosowań. Duży kontekst pasuje do zadań, w których model musi rozumować nad całym zbiorem danych naraz: przeglądanie długiej umowy, streszczanie dużego repozytorium kodu lub odpowiadanie na pytania na podstawie dużego zestawu dokumentów bez osobnego etapu wyszukiwania. Natywne wywoływanie narzędzi pasuje do przepływów pracy w stylu agentowym, w których model odpytuje API, bazę danych lub usługę wewnętrzną, a następnie kontynuuje na podstawie zwróconych danych. Długi limit danych wyjściowych pomaga, gdy potrzebny jest pełny raport, duży refaktor lub kompletny plik, a nie krótka odpowiedź.
Możesz go wywołać przez API zgodne z OpenAI w api14, używając identyfikatora modelu "ricursiveai/ripple-65b-preview". Ponieważ interfejs jest zgodny z formatem OpenAI, istniejące zestawy SDK i klienty OpenAI działają po zmianie bazowego adresu URL i identyfikatora modelu. Obsługiwane parametry żądania to logprobs, max_tokens, response_format, seed, temperature, tool_choice, tools, top_logprobs oraz top_p. Obejmuje to kontrolę próbkowania przez temperature i top_p, deterministyczne uruchomienia przez seed, ustrukturyzowane dane wyjściowe przez response_format oraz wywoływanie funkcji przez tools i tool_choice. Parametry logprobs i top_logprobs są dostępne, jeśli potrzebujesz informacji o pewności na poziomie tokenów.
Ponieważ jest to wydanie podglądowe, warto przetestować je na własnych obciążeniach przed wdrożeniem produkcyjnym oraz sprawdzić, czy nie pojawiła się nowsza kompilacja. Jeśli Twoje zadanie jest niewielkie lub wrażliwe na opóźnienia, model o 65 miliardach parametrów może być większy, niż potrzebujesz, a mniejszy model mógłby sprawdzić się lepiej. Jeśli Twoja praca nie opiera się na tekście, ten model nie jest odpowiedni, ponieważ przyjmuje i generuje wyłącznie tekst.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "ricursiveai/ripple-65b-preview",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
logprobsmax_tokensresponse_formatseedtemperaturetool_choicetoolstop_logprobstop_pTa społeczność nie ma jeszcze wątków. Załóż pierwszy wątek o Ricursive: Ripple 65B Preview.