Używamy plików cookie. Pliki cookie i pamięć przeglądarki pozwalają utrzymać logowanie i zapamiętać Twoje preferencje. Za Twoją zgodą mierzymy też, jak korzystasz ze strony. W każdej chwili możesz . Zobacz naszą politykę cookie.

Nowy tutaj? Zobacz, jak to działa Minutowa wycieczka po piaskownicy, modelach i Twoim kluczu API.

Llama 3.1 70B Instruct vs UnslopNemo 12B: cena API, kontekst i funkcje · api14

Meta: Llama 3.1 70B Instruct kontra TheDrummer: UnslopNemo 12B

Porównanie Meta: Llama 3.1 70B Instruct (2,52 USD / 1M tokenów (≈ 9,87 zł)) i TheDrummer: UnslopNemo 12B (1,40 USD / 1M tokenów (≈ 5,49 zł)) obok siebie na podstawie aktualnych cen w USD i możliwości z katalogu api14. Oba działają przez to samo API zgodne z OpenAI.

Specyfikacja

	Meta: Llama 3.1 70B Instruct	TheDrummer: UnslopNemo 12B
Dostawca	Meta	TheDrummer
Wejście	2,52 USD / 1M tokenów (≈ 9,87 zł)	1,40 USD / 1M tokenów (≈ 5,49 zł)
Wyjście	2,52 USD / 1M tokenów (≈ 9,87 zł)	1,40 USD / 1M tokenów (≈ 5,49 zł)
Okno kontekstu	131 072	1 024 000
Maks. wyjście	8192	819 200
Wejście	text	text
Wyjście	text	text
Wywołania narzędzi
Ustrukturyzowane wyjście
Sterowanie rozumowaniem
Dodano	23 lip 2024	8 lis 2024

Najważniejsze różnice

TheDrummer: UnslopNemo 12B jest o 44% tańszy na tokenach wejściowych.
TheDrummer: UnslopNemo 12B jest o 44% tańszy na tokenach wyjściowych.
TheDrummer: UnslopNemo 12B przyjmuje 7.8× więcej kontekstu (1 024 000 tokenów).
Tylko TheDrummer: UnslopNemo 12B obsługuje ustrukturyzowane wyjście JSON.
Żądanie z 1000 tokenów wejściowych i 500 wyjściowych kosztuje 0,00378 USD z Meta: Llama 3.1 70B Instruct i 0,00210 USD z TheDrummer: UnslopNemo 12B.

Szczegółowo

Meta: Llama 3.1 70B Instruct to model tekstowy od Meta, wydany 2024-07-23. TheDrummer: UnslopNemo 12B to model tekstowy od TheDrummer, wydany 2024-11-08. Oba są udostępniane przez api14 jako modele uzupełniania czatu i oba przyjmują tekst na wejściu oraz zwracają tekst na wyjściu, więc żaden z nich nie obsługuje obrazów ani dźwięku. Nazewnictwo mówi większość tego, co potrzebne na pierwszy rzut oka: jeden to 70B model ogólnego przeznaczenia dostrojony do instrukcji z dużego laboratorium, drugi to 12B społecznościowy fine tune nastawiony na określony styl odpowiedzi.

Najwyraźniejsza różnica techniczna to długość kontekstu. UnslopNemo 12B przyjmuje do 1 024 000 tokenów, podczas gdy Llama 3.1 70B Instruct przyjmuje do 131 072 tokenów. Jeśli Twój prompt lub zestaw pobranych dokumentów jest bardzo duży, UnslopNemo to ten, który zmieści go bez dzielenia na fragmenty. Drugą istotną różnicą jest obsługa narzędzi. Llama 3.1 70B Instruct obsługuje tools i tool_choice, więc może bezpośrednio napędzać wywoływanie funkcji i pętle w stylu agenta. UnslopNemo 12B nie wymienia tych parametrów, więc nie jest modelem, po który sięgasz, gdy potrzebujesz, aby sam model emitował ustrukturyzowane wywołania narzędzi. Pod względem ceny oba są mniej więcej takie same, więc koszt nie jest tutaj czynnikiem decydującym. Oba obsługują structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed i stop, więc próbkowanie i kształtowanie wyjścia działają tak samo po obu stronach.

Do codziennej pracy wybieraj na podstawie tego, czego faktycznie potrzebuje zadanie. Jeśli budujesz agenta, pipeline wyszukiwania, który musi wywoływać funkcje, lub cokolwiek, co wymaga, aby model zdecydował, które narzędzie wywołać, Llama 3.1 70B Instruct jest naturalnym wyborem, ponieważ jako jedyny z tej dwójki obsługuje narzędzia. Jeśli zajmujesz się streszczaniem długich dokumentów, wrzucaniem dużego repozytorium kodu lub transkrypcji do jednego żądania, albo pracą nad kreatywnym i konwersacyjnym pisaniem, gdzie chcesz lżejszy model z bardzo dużym oknem, UnslopNemo 12B pasuje lepiej. Do zwykłego podążania za instrukcjami, klasyfikacji, ekstrakcji lub przepisywania, gdzie dane wejściowe mieszczą się wygodnie w 131 072 tokenach i nie są używane narzędzia, oba modele wykonają zadanie, a możesz wybierać na podstawie stylu wyjścia, a nie możliwości.

Wywoływanie któregokolwiek z tych modeli przez api14 działa tak samo, ponieważ API jest zgodne z OpenAI. Kierujesz swojego klienta na bazowy URL api14, wysyłasz zwykłe żądanie uzupełniania czatu ze swoją tablicą messages i ustawiasz pole model. Aby użyć Llama 3.1 70B Instruct, ustaw model na meta-llama/llama-3.1-70b-instruct. Aby użyć UnslopNemo 12B, ustaw model na thedrummer/unslopnemo-12b. Wszystko inne w treści żądania, w tym temperature, max_tokens, stop i structured_outputs, pozostaje bez zmian. Przełączanie między nimi to zmiana jednej linii, więc możesz trzymać oba za wartością konfiguracyjną i kierować żądania pojedynczo bez przepisywania integracji.

Zmień jednym ciągiem znaków

Oba modele używają tego samego endpointu i tej samej struktury żądania. Zmień wartość model z "meta-llama/llama-3.1-70b-instruct" na "thedrummer/unslopnemo-12b", prompty, streaming i narzędzia działają dalej.

Meta: Llama 3.1 70B Instruct: szczegóły i piaskownica →TheDrummer: UnslopNemo 12B: szczegóły i piaskownica →

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "thedrummer/unslopnemo-12b",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Meta: Llama 3.1 70B Instruct kontra TheDrummer: UnslopNemo 12B

Specyfikacja

Najważniejsze różnice

Szczegółowo

Zmień jednym ciągiem znaków

Więcej porównań