Meta: Llama 3.1 70B Instruct to model tekstowy od Meta, wydany 2024-07-23. Mistral: Saba to model tekstowy od Mistral, wydany 2025-02-17. Oba są udostępniane przez api14 jako modele uzupełniania czatu i oba przyjmują podpowiedzi tekstowe oraz zwracają tekst. Główna różnica strukturalna polega na tym, że Saba przyjmuje również dane wejściowe w postaci plików, więc możesz przekazać dokument obok podpowiedzi, zamiast wklejać jego treść do wiadomości.
Oba modele różnią się najwyraźniej pod względem okna kontekstu i modalności. Llama 3.1 70B Instruct ma długość kontekstu 131072 tokenów, a Saba ma 32768 tokenów, więc Llama daje około cztery razy więcej miejsca na długie dane wejściowe. Saba jako jedyny z tej dwójki przyjmuje dane wejściowe w postaci plików; Llama 3.1 70B Instruct to tekst na wejściu, tekst na wyjściu. Jeśli chodzi o parametry, Llama udostępnia szerszy zestaw, w tym logit_bias, min_p, repetition_penalty i top_k, których Saba nie wymienia. Oba obsługują tools, tool_choice, structured_outputs, response_format, seed, stop, temperature, top_p, frequency_penalty, presence_penalty i max_tokens, więc wywoływanie funkcji i wyjście w stylu JSON są dostępne po obu stronach. Jeśli chodzi o cenę, Saba jest tańszą opcją dla danych wejściowych, a Llama 3.1 70B Instruct jest tańszą opcją dla danych wyjściowych, więc lepsza oferta zależy od tego, ile wysyłasz w porównaniu z tym, ile generujesz.
Przy praktycznym wyborze sięgnij po Llama 3.1 70B Instruct, gdy twoja podpowiedź lub rozmowa jest długa, gdy potrzebujesz dodatkowych kontroli próbkowania, takich jak logit_bias, min_p, repetition_penalty lub top_k, albo gdy twoje obciążenie jest intensywne pod względem danych wyjściowych i tańsza stawka za dane wyjściowe ma większe znaczenie. Sięgnij po Mistral: Saba, gdy chcesz przekazać modelowi plik bezpośrednio, zamiast samodzielnie wyodrębniać jego tekst, gdy twoje dane wejściowe mieszczą się wygodnie w 32768 tokenach, albo gdy twoje obciążenie jest intensywne pod względem danych wejściowych i tańsza stawka za dane wejściowe ma większe znaczenie. Jeśli nie masz pewności, okno kontekstu jest zwykle czynnikiem decydującym: wszystko, co przekroczyłoby 32768 tokenów, musi trafić do Llama.
Wywoływanie któregokolwiek z tych modeli przez api14 działa tak samo, ponieważ API jest zgodne z OpenAI. Kierujesz swojego istniejącego klienta OpenAI na bazowy adres URL api14, wysyłasz swój klucz i ustawiasz pole model na identyfikator, którego chcesz użyć. Aby przełączyć modele, zmieniasz tylko ten ciąg, między "meta-llama/llama-3.1-70b-instruct" i "mistralai/mistral-saba". Kształt żądania, tablica messages i parsowanie odpowiedzi pozostają identyczne, więc możesz przenieść wywołanie z jednego modelu na drugi, edytując jedną linię, albo kierować między nimi w czasie działania na podstawie długości danych wejściowych lub tego, czy dołączono plik.
Są przypadki, w których drugi model nadal jest lepszym wyborem, nawet po dokonaniu wyboru. Jeśli zaczynasz od Saba ze względu na jego dane wejściowe w postaci plików i tańszą stawkę za dane wejściowe, ale żądanie przekroczy 32768 tokenów albo potrzebujesz logit_bias, min_p, repetition_penalty lub top_k, to Llama 3.1 70B Instruct jest tym, który może je obsłużyć. Jeśli zaczynasz od Llama ze względu na jego długi kontekst i tańsze dane wyjściowe, ale wolisz przekazać dokument jako plik, zamiast wklejać jego tekst, Saba to obejmuje. Żaden model nie jest bezwzględnie lepszy; wybór wynika z rozmiaru danych wejściowych, tego, czy potrzebujesz danych wejściowych w postaci plików, z których parametrów próbkowania korzystasz oraz tego, czy twoje zużycie tokenów skłania się ku danym wejściowym czy wyjściowym.