Meta: Llama 3.2 1B Instruct

Meta: Llama 3.2 1B Instruct to model generowania tekstu od Meta, część rodziny Llama 3.2. Jest to model dostrojony do instrukcji z 1 miliardem parametrów, celowo niewielkim rozmiarem, który Meta pozycjonuje wokół wydajnego wykonywania zadań w języku naturalnym. Meta udostępniła go 25 września 2024, a jego data odcięcia wiedzy to 31 grudnia 2023, więc wszystko, co wydarzyło się po tej dacie, wykracza poza to, czego model nauczył się podczas treningu.

Model pracuje wyłącznie z tekstem, zarówno na wejściu, jak i na wyjściu. Przyjmuje prompt i zwraca wygenerowany tekst, z oknem kontekstu wynoszącym 60 000 tokenów i maksymalnym wyjściem 54 000 tokenów. Ta kombinacja daje całkiem dużą przestrzeń roboczą jak na model o tym rozmiarze, wystarczającą, aby zmieścić długie dokumenty lub rozbudowane rozmowy w jednym żądaniu. Meta opisuje jego fokus jako streszczanie, dialog i wielojęzyczną analizę tekstu, co odzwierciedla rodzaj zadań, na które celuje dostrajanie do instrukcji.

Te możliwości wskazują na praktyczny zestaw zastosowań. Streszczanie pasuje naturalnie: podaj artykuł, raport lub wątek i poproś o krótszą wersję. Dialog obejmuje asystentów w stylu czatu, odpowiadanie na pytania i proste przepływy konwersacyjne, w których model musi podążać za instrukcjami i utrzymywać spójny ton. Wielojęzyczna analiza tekstu oznacza klasyfikację, ekstrakcję lub lekką transformację tekstu w różnych językach. Ponieważ model jest mały, nadaje się również do zadań o dużym wolumenie i niskiej złożoności, gdzie chcesz szybkich odpowiedzi na proste prompty, a nie głębokiego rozumowania.

Wywołujesz go przez API zgodne z OpenAI od api14, używając identyfikatora modelu "meta-llama/llama-3.2-1b-instruct". Ponieważ interfejs jest zgodny z formatem OpenAI, istniejące biblioteki klienckie OpenAI i kształty żądań działają po zmianie jedynie identyfikatora modelu i bazowego URL. Obsługiwane parametry żądania to frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, temperature, top_k i top_p. Obejmuje to zwykłe kontrolki próbkowania, plus seed dla powtarzalnych wyników i repetition_penalty do ograniczania pętli w dłuższych generacjach.

Najważniejszą rzeczą do rozważenia jest skala. Model z 1 miliardem parametrów jest zbudowany dla wydajności, a nie do najtrudniejszego rozumowania czy najbardziej niuansowego długiego pisania. Jeśli twoje zadanie wymaga złożonej logiki wieloetapowej, głębokiej wiedzy dziedzinowej lub wysoce niezawodnego podążania za instrukcjami przy niejednoznacznych promptach, większy model z rodziny Llama lub innego dostawcy zwykle posłuży ci lepiej. Jeśli twoje zadanie to streszczanie, dialog lub obsługa tekstu wielojęzycznego na dużą skalę, ten model jest rozsądnym domyślnym wyborem do przetestowania najpierw.