Meta: Llama 3.3 70B Instruct

Meta: Llama 3.3 70B Instruct to model generowania tekstu od Meta, wydany 6 grudnia 2024. Należy do rodziny Llama 3.3, wielojęzycznego dużego modelu językowego, który Meta zarówno wstępnie wytrenowała, jak i dostroiła instrukcjami przy 70B parametrów. Wariant dostrojony instrukcjami jest wyłącznie tekstowy, co oznacza, że jest zaprojektowany do zadań opartych na poleceniach, a nie do danych wejściowych multimodalnych.

Model przyjmuje tekst i zwraca tekst, z oknem kontekstu wynoszącym 131 072 tokeny i maksymalnym wyjściem 16 384 tokeny. Jego granica wiedzy to 31 grudnia 2023, więc wszystko po tej dacie wykracza poza to, czego nauczył się podczas treningu. Ponieważ jest dostrojony instrukcjami, dość bezpośrednio wykonuje polecenia zawarte w prompcie, co czyni go odpowiednim do zadań, w których opisujesz, czego chcesz, zamiast dostarczać przykłady.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Praca z długim kontekstem, taka jak streszczanie lub odpytywanie długich dokumentów, pasuje do okna 131 072 tokenów, a limit wyjścia 16 384 tokenów obsługuje odpowiedzi znacznie wykraczające poza krótką odpowiedź. Generowanie wielojęzyczne i asystenci w stylu czatu są naturalnym zastosowaniem, biorąc pod uwagę wielojęzyczny trening modelu. Podążanie za instrukcjami czyni go również rozsądnym wyborem do ekstrakcji, przepisywania, klasyfikacji i podobnych zadań transformacyjnych, w których dane wejściowe są tekstem, a dane wyjściowe są tekstem.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "meta-llama/llama-3.3-70b-instruct". Punkt końcowy akceptuje zwykły kształt żądania w stylu czatu, a model obsługuje szeroki zestaw parametrów: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs i top_p. Wywoływanie narzędzi i ustrukturyzowane wyjścia są dostępne, więc wywoływanie funkcji i odpowiedzi ograniczone schematem są opcjami, a nie obejściami.

Dwa ograniczenia warto mieć na uwadze, wybierając ten model. Przyjmuje wyłącznie tekst, więc obrazy, dźwięk lub inne nietekstowe dane wejściowe są poza zakresem, a jego wiedza kończy się pod koniec 2023, co ma znaczenie w przypadku pytań o ostatnie wydarzenia, chyba że sam dostarczysz kontekst. Jeśli Twoje zadanie zależy od tych rzeczy, lepiej pasowałby model z odpowiednim modalem wejściowym lub nowszą granicą wiedzy.