Używamy plików cookie. Pliki cookie i pamięć przeglądarki pozwalają utrzymać logowanie i zapamiętać Twoje preferencje. Za Twoją zgodą mierzymy też, jak korzystasz ze strony. W każdej chwili możesz . Zobacz naszą politykę cookie.
inclusionai/ling-3.0-tinyKorzysta z Twojego salda według powyższych cen. Nowe konta zaczynają z darmowym użyciem.
Ustawienia
Ling 3.0 Tiny to model tekstowy od inclusionAI. Jest to model typu mixture-of-experts z 1.3B aktywnych parametrów z 7.9B całkowitych. Projekt jest ukierunkowany na responsywne agenty, podążanie za instrukcjami i rozmowy wieloetapowe, a model obsługuje przełączalne zachowanie rozumowania. Należy do kategorii tekstowej, więc jest przeznaczony do pracy z językiem, a nie z obrazem, dźwiękiem lub innymi mediami.
Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe. Jego okno kontekstowe wynosi 262144 tokenów, a maksymalne wyjście to 250000 tokenów, co oznacza, że bardzo długie dane wejściowe i bardzo długie generacje są możliwe w ramach pojedynczego żądania. Rozumowanie można włączyć lub wyłączyć, a gdy jest włączone, treść rozumowania może być ujawniona osobno poprzez parametr include_reasoning. To połączenie dużego kontekstu i stosunkowo małej liczby aktywnych parametrów czyni go kandydatem do zadań, w których opóźnienie i przepustowość mają znaczenie obok długich dokumentów.
Praktyczne zastosowania wynikają z tych cech. Responsywne agenty i przepływy pracy oparte na narzędziach pasują do podążania za instrukcjami i obsługi narzędzi. Systemy rozmów wieloetapowych korzystają z długiego kontekstu, ponieważ poprzednie tury i materiały referencyjne mogą pozostać w podpowiedzi. Streszczanie długich dokumentów, ekstrakcja i odpowiadanie na pytania są wykonalne, ponieważ okno kontekstowe jest duże. Zadania ze strukturalnym wyjściem działają poprzez response_format, a zadania klasyfikacji lub oceniania mogą używać logprobs i top_logprobs. Podpowiedzi wymagające intensywnego rozumowania można obsłużyć, włączając rozumowanie, gdy zadanie wymaga pracy krok po kroku przed ostateczną odpowiedzią.
Model wywołujesz przez API zgodne z OpenAI od api14, używając identyfikatora modelu "inclusionai/ling-3.0-tiny". Ponieważ interfejs jest zgodny z kształtem uzupełnień czatu OpenAI, istniejące zestawy SDK i klienty OpenAI działają po skierowaniu bazowego adresu URL na api14 i ustawieniu identyfikatora modelu. Obsługiwane parametry żądania to frequency_penalty, include_reasoning, logprobs, max_tokens, presence_penalty, reasoning, response_format, seed, stop, temperature, tools, top_logprobs i top_p. Użyj max_tokens, aby ograniczyć generację, temperature i parametrów kary, aby sterować stylem i powtarzaniem, seed dla powtarzalnego próbkowania, a stop, aby zakończyć generację na wybranych sekwencjach. Tools umożliwia wywoływanie funkcji, a response_format ogranicza strukturę wyjścia.
Istnieją przypadki, w których inny model może pasować lepiej. Ten model obsługuje tylko tekst, więc zadania wymagające wejścia lub wyjścia obrazu albo dźwięku potrzebują innego modelu. To wariant tiny, więc jeśli zadanie wymaga najsilniejszego możliwego rozumowania lub wiedzy, większy model z tej samej rodziny lub innego dostawcy może być lepszym wyborem. Dla prostego generowania tekstu, agentów i pracy z długim kontekstem w ramach obsługiwanych parametrów jest rozsądnym domyślnym wyborem.
Ta społeczność nie ma jeszcze wątków. Załóż pierwszy wątek o inclusionAI: Ling 3.0 Tiny.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "inclusionai/ling-3.0-tiny",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
frequency_penaltyinclude_reasoninglogprobsmax_tokenspresence_penaltyreasoningresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_logprobstop_p