Meta: Llama 3.1 70B Instruct kontra Mistral: Saba
Porównanie Meta: Llama 3.1 70B Instruct (2,52 USD / 1M tokenów (≈ 9,92 zł)) i Mistral: Saba (0,70 USD / 1M tokenów (≈ 2,76 zł)) obok siebie na podstawie aktualnych cen w USD i możliwości z katalogu api14. Oba działają przez to samo API zgodne z OpenAI.
Specyfikacja
| Meta: Llama 3.1 70B Instruct | Mistral: Saba | |
|---|---|---|
| Dostawca | Meta | Mistral |
| Wejście | 2,52 USD / 1M tokenów (≈ 9,92 zł) | 0,70 USD / 1M tokenów (≈ 2,76 zł) |
| Wyjście | 2,52 USD / 1M tokenów (≈ 9,92 zł) | 2,10 USD / 1M tokenów (≈ 8,27 zł) |
| Odczyt z cache | - | 0,07 USD / 1M tokenów (≈ 0,28 zł) |
| Okno kontekstu | 131 072 | 32 768 |
| Maks. wyjście | 8192 | 26 214 |
| Wejście | text | text, file |
| Wyjście | text | text |
| Wywołania narzędzi | ||
| Ustrukturyzowane wyjście | ||
| Sterowanie rozumowaniem | ||
| Dodano | 23 lip 2024 | 17 lut 2025 |
Najważniejsze różnice
- Mistral: Saba jest o 72% tańszy na tokenach wejściowych.
- Mistral: Saba jest o 17% tańszy na tokenach wyjściowych.
- Meta: Llama 3.1 70B Instruct przyjmuje 4.0× więcej kontekstu (131 072 tokenów).
- Tylko Mistral: Saba obsługuje wywołania narzędzi.
- Tylko Mistral: Saba obsługuje ustrukturyzowane wyjście JSON.
- Żądanie z 1000 tokenów wejściowych i 500 wyjściowych kosztuje 0,00378 USD z Meta: Llama 3.1 70B Instruct i 0,00175 USD z Mistral: Saba.
Szczegółowo
Meta: Llama 3.1 70B Instruct to model tekstowy od Meta, wydany 2024-07-23. Mistral: Saba to model tekstowy od Mistral, wydany 2025-02-17. Oba są udostępniane przez api14 jako modele uzupełniania czatu i oba przyjmują podpowiedzi tekstowe oraz zwracają tekst. Główna różnica strukturalna polega na tym, że Saba przyjmuje również dane wejściowe w postaci plików, więc możesz przekazać dokument obok podpowiedzi, zamiast wklejać jego treść do wiadomości.
Oba modele różnią się najwyraźniej pod względem okna kontekstu i modalności. Llama 3.1 70B Instruct ma długość kontekstu 131072 tokenów, a Saba ma 32768 tokenów, więc Llama daje około cztery razy więcej miejsca na długie dane wejściowe. Saba jako jedyny z tej dwójki przyjmuje dane wejściowe w postaci plików; Llama 3.1 70B Instruct to tekst na wejściu, tekst na wyjściu. Jeśli chodzi o parametry, Llama udostępnia szerszy zestaw, w tym logit_bias, min_p, repetition_penalty i top_k, których Saba nie wymienia. Oba obsługują tools, tool_choice, structured_outputs, response_format, seed, stop, temperature, top_p, frequency_penalty, presence_penalty i max_tokens, więc wywoływanie funkcji i wyjście w stylu JSON są dostępne po obu stronach. Jeśli chodzi o cenę, Saba jest tańszą opcją dla danych wejściowych, a Llama 3.1 70B Instruct jest tańszą opcją dla danych wyjściowych, więc lepsza oferta zależy od tego, ile wysyłasz w porównaniu z tym, ile generujesz.
Przy praktycznym wyborze sięgnij po Llama 3.1 70B Instruct, gdy twoja podpowiedź lub rozmowa jest długa, gdy potrzebujesz dodatkowych kontroli próbkowania, takich jak logit_bias, min_p, repetition_penalty lub top_k, albo gdy twoje obciążenie jest intensywne pod względem danych wyjściowych i tańsza stawka za dane wyjściowe ma większe znaczenie. Sięgnij po Mistral: Saba, gdy chcesz przekazać modelowi plik bezpośrednio, zamiast samodzielnie wyodrębniać jego tekst, gdy twoje dane wejściowe mieszczą się wygodnie w 32768 tokenach, albo gdy twoje obciążenie jest intensywne pod względem danych wejściowych i tańsza stawka za dane wejściowe ma większe znaczenie. Jeśli nie masz pewności, okno kontekstu jest zwykle czynnikiem decydującym: wszystko, co przekroczyłoby 32768 tokenów, musi trafić do Llama.
Wywoływanie któregokolwiek z tych modeli przez api14 działa tak samo, ponieważ API jest zgodne z OpenAI. Kierujesz swojego istniejącego klienta OpenAI na bazowy adres URL api14, wysyłasz swój klucz i ustawiasz pole model na identyfikator, którego chcesz użyć. Aby przełączyć modele, zmieniasz tylko ten ciąg, między "meta-llama/llama-3.1-70b-instruct" i "mistralai/mistral-saba". Kształt żądania, tablica messages i parsowanie odpowiedzi pozostają identyczne, więc możesz przenieść wywołanie z jednego modelu na drugi, edytując jedną linię, albo kierować między nimi w czasie działania na podstawie długości danych wejściowych lub tego, czy dołączono plik.
Są przypadki, w których drugi model nadal jest lepszym wyborem, nawet po dokonaniu wyboru. Jeśli zaczynasz od Saba ze względu na jego dane wejściowe w postaci plików i tańszą stawkę za dane wejściowe, ale żądanie przekroczy 32768 tokenów albo potrzebujesz logit_bias, min_p, repetition_penalty lub top_k, to Llama 3.1 70B Instruct jest tym, który może je obsłużyć. Jeśli zaczynasz od Llama ze względu na jego długi kontekst i tańsze dane wyjściowe, ale wolisz przekazać dokument jako plik, zamiast wklejać jego tekst, Saba to obejmuje. Żaden model nie jest bezwzględnie lepszy; wybór wynika z rozmiaru danych wejściowych, tego, czy potrzebujesz danych wejściowych w postaci plików, z których parametrów próbkowania korzystasz oraz tego, czy twoje zużycie tokenów skłania się ku danym wejściowym czy wyjściowym.
Zmień jednym ciągiem znaków
Oba modele używają tego samego endpointu i tej samej struktury żądania. Zmień wartość model z "meta-llama/llama-3.1-70b-instruct" na "mistralai/mistral-saba", prompty, streaming i narzędzia działają dalej.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "mistralai/mistral-saba",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Więcej porównań
- LiquidAI: LFM3-1.7B kontra Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B kontra Crouton Alpha
- LiquidAI: LFM3-1.7B kontra Tencent: Hy4
- LiquidAI: LFM3-1.7B kontra Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview kontra Crouton Alpha
- Ricursive: Ripple 65B Preview kontra Tencent: Hy4
- Ricursive: Ripple 65B Preview kontra Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha kontra Tencent: Hy4