Qwen2.5 72B Instruct

Qwen2.5 72B Instruct to model generowania tekstu od Qwen, serii dużych modeli językowych opracowanej przez Alibaba Cloud. Należy do rodziny Qwen2.5, którą dostawca opisuje jako wnoszącą znacznie więcej wiedzy niż Qwen2 wraz z mocno ulepszonymi możliwościami kodowania. Model został wydany przez dostawcę 19 września 2024, a jego wiedza treningowa sięga daty odcięcia 30 czerwca 2024. Znajduje się w kategorii tekstowej i jest pozycjonowany jako model dostrojony do instrukcji, co oznacza, że jest zaprojektowany do wykonywania poleceń i tworzenia bezpośrednich odpowiedzi, a nie surowych kontynuacji.

Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe, więc działa w przypadku każdego zadania, które można wyrazić w języku. Jego okno kontekstowe wynosi 32 768 tokenów, co obejmuje znaczną ilość materiału w jednym żądaniu, a maksymalna długość danych wyjściowych to 16 384 tokeny. To połączenie pasuje do długich poleceń, takich jak podsumowania wielu dokumentów, rozbudowane pliki kodu czy szczegółowe instrukcje, gdzie sama odpowiedź również może być długa. Ponieważ po obu stronach obsługiwany jest wyłącznie tekst, model nie przetwarza obrazów, dźwięku ani innych modalności.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Wykonywanie instrukcji i nacisk na kodowanie czynią go rozsądnym wyborem do generowania kodu, refaktoryzacji, pomocy w debugowaniu i wyjaśniania istniejącego kodu. Duże okno kontekstowe wspiera przepływy pracy w stylu wyszukiwania, w których kilka fragmentów źródłowych jest wklejanych do polecenia, a model jest proszony o ich syntezę lub odpowiadanie na pytania na ich podstawie. Działa również do tworzenia i edycji tekstu, strukturalnego wyodrębniania danych z tekstu, klasyfikacji i podsumowywania oraz asystentów konwersacyjnych, które muszą utrzymać długi wątek dialogu w ramach budżetu tokenów.

Możesz wywołać model przez API zgodne z OpenAI od api14, używając identyfikatora modelu "qwen/qwen-2.5-72b-instruct". Ponieważ interfejs jest zgodny ze strukturą uzupełnień czatu OpenAI, istniejące zestawy SDK i klienty OpenAI generalnie działają po zmianie jedynie bazowego adresu URL i klucza. Model obsługuje szeroki zestaw parametrów żądania: frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k oraz top_p. Wywoływanie narzędzi i ustrukturyzowane dane wyjściowe są więc dostępne bezpośrednio, co jest przydatne, gdy potrzebujesz, aby model zwracał JSON lub wywoływał funkcje zamiast dowolnego tekstu.

Przed podjęciem decyzji warto rozważyć kilka ograniczeń. Kontekst 32 768 tokenów jest hojny, ale nie nieograniczony, więc bardzo duże bazy kodu lub długie zestawy dokumentów mogą wymagać dzielenia na fragmenty lub wyszukiwania zamiast jednego polecenia. Data odcięcia wiedzy 30 czerwca 2024 oznacza, że wszystko nowsze musi pochodzić z samego polecenia. Jeśli Twoje obciążenie nie opiera się na tekście, ten model nie pomoże, ponieważ nie ma wejścia obrazowego ani dźwiękowego. W przypadku zadań mieszczących się w tych granicach oferuje wydajny uniwersalny model tekstowy z silną kontrolą parametrów.