Meta: Llama 3.2 3B Instruct

Meta: Llama 3.2 3B Instruct to model tekstowy od Meta, identyfikowany w api14 jako meta-llama/llama-3.2-3b-instruct. To wielojęzyczny duży model językowy z 3 miliardami parametrów, zbudowany na architekturze transformera i dostrojony do podążania za instrukcjami. Meta wydała go 25 września 2024, a jego data odcięcia wiedzy to 31 grudnia 2023. Model należy do kategorii tekstowej, więc jest przeznaczony do pracy z językiem, a nie z obrazem, dźwiękiem czy innymi modalnościami.

Po stronie wejścia przyjmuje tekst i zwraca tekst. Okno kontekstu wynosi 131 072 tokeny, co jest duże jak na model tej wielkości i pozwala przekazać długie dokumenty, transkrypcje lub historie wielu tur w jednym żądaniu. Maksymalne wyjście to 117 964 tokeny, więc odpowiedzi również mogą być długie. Meta opisuje model jako zoptymalizowany do zadań przetwarzania języka naturalnego, takich jak generowanie dialogu, rozumowanie i streszczanie, a jego wielojęzyczne trenowanie oznacza, że potrafi obsłużyć polecenia w więcej niż jednym języku.

Te możliwości wskazują na dość jasny zestaw zastosowań. Streszczanie pasuje naturalnie: długie raporty, notatki ze spotkań lub szkice artykułów mogą zostać wprowadzone, a na wyjściu pojawia się krótsza wersja. Generowanie dialogu czyni go odpowiednim dla asystentów czatu, botów wsparcia i interfejsów konwersacyjnych, w których dostrojenie do instrukcji utrzymuje odpowiedzi na właściwym torze. Zadania rozumowania, takie jak przechodzenie przez problem przedstawiony w poleceniu lub wyodrębnianie ustrukturyzowanych odpowiedzi z nieustrukturyzowanego tekstu, również mieszczą się w zakresie. Ponieważ model jest mały, jest rozsądnym wyborem, gdy zależy ci na niskim opóźnieniu lub chcesz wykonywać wiele żądań, a długi kontekst oznacza, że nie musisz agresywnie dzielić dokumentów przed wysłaniem ich.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu meta-llama/llama-3.2-3b-instruct. Ponieważ interfejs jest zgodny z formatem OpenAI, istniejące klienty i SDK zazwyczaj działają po zmianie tylko bazowego URL i identyfikatora modelu. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs i top_p. Obejmuje to zwykłe kontrolki próbkowania (temperature, top_p, top_k, min_p), kary za powtarzanie, deterministyczne uruchomienia przez seed, sekwencje stop, limity tokenów oraz inspekcję prawdopodobieństw tokenów przez logprobs i top_logprobs. Obsługiwane są również ustrukturyzowane wyjścia, co pomaga, gdy potrzebujesz, aby odpowiedź była zgodna ze schematem.

Najważniejszą rzeczą do rozważenia jest wielkość modelu. Przy 3 miliardach parametrów jest to kompaktowy model, więc do zadań wymagających głębokiego rozumowania lub szerokiej wiedzy o świecie lepszy może okazać się większy model. Jest też wyłącznie tekstowy, więc wszystko, co wiąże się z innymi typami danych wejściowych, jest tutaj poza zakresem. Jeśli twoje obciążenie to streszczanie, dialog lub umiarkowane rozumowanie i cenisz długie okno kontekstu, ten model jest praktycznym wyborem.