Meta: Llama 3.1 70B Instruct

Meta: Llama 3.1 70B Instruct to model generowania tekstu od Meta, część rodziny Llama 3.1, która zadebiutowała 23 lipca 2024. To wersja z 70 miliardami parametrów, dostrojona do podążania za instrukcjami, co oznacza, że jest zaprojektowana do odpowiadania na polecenia i prowadzenia dialogu, a nie tylko do kontynuowania surowego tekstu. Meta pozycjonuje ten wariant instruct jako zoptymalizowany pod przypadki użycia wysokiej jakości dialogu, a pod względem rozmiaru plasuje się on w środku zakresu Llama 3.1.

Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe, więc jest to czysty model językowy bez obsługi obrazu, dźwięku czy wideo. Jego okno kontekstu wynosi 131 072 tokeny, co wystarcza do pomieszczenia długich dokumentów, rozbudowanych rozmów lub sporych plików kodu w jednym żądaniu. Maksymalna długość danych wyjściowych to 16 384 tokeny, więc odpowiedzi mogą być pokaźne, ale są ograniczone znacznie poniżej limitu danych wejściowych. Granica wiedzy to 31 grudnia 2023, co oznacza, że wszystko po tej dacie wykracza poza to, czego model nauczył się podczas treningu.

Te cechy wskazują na dość jasny zestaw praktycznych zastosowań. Długi kontekst sprzyja streszczaniu i odpowiadaniu na pytania dotyczące obszernych dokumentów, przeglądowi umów, syntezie wyników badań oraz rozmowie wieloetapowej, w której wcześniejsze części konwersacji muszą pozostawać widoczne. Dostrojenie do instrukcji czyni go rozsądnym wyborem dla asystentów, tworzenia szkiców, przepisywania, klasyfikacji i zadań ekstrakcji. Ponieważ model obsługuje wywoływanie narzędzi i ustrukturyzowane dane wyjściowe, można go również stosować w potokach, w których model musi zwracać dane w określonym kształcie lub wywoływać funkcje zewnętrzne, zamiast tylko generować swobodny tekst.

Wywołujesz go przez API api14 zgodne z OpenAI, używając identyfikatora modelu meta-llama/llama-3.1-70b-instruct. Ponieważ interfejs jest zgodny ze schematem OpenAI, możesz skierować istniejącego klienta OpenAI na bazowy adres URL api14 i przekazać ten identyfikator w polu model. Obsługiwane parametry żądania to frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k oraz top_p. Obejmuje to zwykłe mechanizmy kontroli próbkowania, deterministyczne dane wyjściowe przez seed, sekwencje stop oraz tryby wywoływania narzędzi i ustrukturyzowanych danych wyjściowych.

Przy podejmowaniu decyzji warto pamiętać o kilku ograniczeniach. Dane wyjściowe są ograniczone do 16 384 tokenów, mimo że okno kontekstu jest znacznie większe, więc zadania wymagające bardzo długich pojedynczych odpowiedzi mogą wymagać podziału lub innego modelu. Granica wiedzy z 31 grudnia 2023 oznacza, że ostatnie wydarzenia nie są uwzględniane, chyba że podasz je w poleceniu. A ponieważ dane wejściowe i wyjściowe są wyłącznie tekstem, wszystko związane z obrazami lub dźwiękiem wykracza poza możliwości tego modelu.