Meta: Llama 3.1 8B Instruct

Meta: Llama 3.1 8B Instruct to dostrojony do instrukcji model tekstowy od Meta, część rodziny Llama 3.1, która zadebiutowała w lipcu 2024. Rozmiar 8B znajduje się na mniejszym końcu tej rodziny, co czyni go rozsądnym domyślnym wyborem, gdy chcesz mieć zdolnego asystenta ogólnego przeznaczenia bez obciążenia znacznie większego modelu. Jest to model wyłącznie tekstowy, więc dobrze sprawdza się w czacie, tworzeniu tekstów, ekstrakcji i podobnych zadaniach językowych, a nie w zadaniach związanych z obrazami lub dźwiękiem.

Model przyjmuje tekst i zwraca tekst. Obsługuje okno kontekstu o rozmiarze 131 072 tokenów, co jest wystarczająco duże, aby pomieścić długie dokumenty, rozszerzone rozmowy lub spore pliki kodu w jednym żądaniu. Maksymalne wyjście to 117 964 tokeny, więc długie generowania są możliwe w tym oknie. Jego data odcięcia wiedzy to 2023-12-31, co oznacza, że zdarzenia i informacje po tej dacie nie są częścią jego danych treningowych. Gdy dokładność zależy od niedawnych faktów, powinieneś sam dostarczyć odpowiedni kontekst, zamiast polegać na pamięci modelu.

Te cechy wskazują na kilka praktycznych zastosowań. Podsumowywanie i odpowiadanie na pytania na podstawie długich danych wejściowych dobrze pasują do dużego okna kontekstu. Podążanie za instrukcjami czyni go odpowiednim dla asystentów czatu, przepisywania, klasyfikacji i ekstrakcji danych strukturalnych z nieuporządkowanego tekstu. Ponieważ przyjmuje narzędzia i wyjścia strukturalne, może również służyć jako krok rozumowania w potoku, który wywołuje funkcje lub zwraca JSON. Rozmiar 8B utrzymuje opóźnienie i zużycie zasobów na stosunkowo niskim poziomie, co pomaga, gdy uruchamiasz wiele żądań lub prototypujesz pomysł przed wyborem większego modelu.

Możesz go wywołać przez API zgodne z OpenAI w api14, używając identyfikatora modelu meta-llama/llama-3.1-8b-instruct. Skieruj swojego istniejącego klienta OpenAI na bazowy URL api14 i przekaż ten identyfikator w polu model. Model przyjmuje frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs oraz top_p. Obejmuje to zwykłe kontrolki próbkowania oraz wywoływanie narzędzi, wyjścia strukturalne i powtarzalne uruchomienia przez seed.

Jedną rzeczą, którą warto rozważyć, jest data odcięcia wiedzy i rozmiar modelu. Jeśli twoje zadanie wymaga faktów po 2023-12-31, zaplanuj dostarczenie ich w prompcie lub przez wyszukiwanie. Jeśli potrzebujesz wejścia obrazowego lub dźwiękowego, ten model go nie przyjmuje, a model multimodalny byłby lepszym wyborem. Do najtrudniejszego rozumowania lub najbardziej wymagającej jakości generowania większy model z tej samej rodziny może pasować lepiej, podczas gdy ta wersja 8B pozostaje solidnym wyborem do pracy o dużej objętości i niższej złożoności.