Qwen: Qwen2.5 7B Instruct

Qwen2.5 7B Instruct to model generowania tekstu od Qwen, serii dużych modeli językowych opracowanej przez Alibaba Cloud. Należy do rodziny Qwen2.5, którą dostawca opisuje jako wnoszącą znacznie więcej wiedzy niż Qwen2 wraz z mocno ulepszonymi możliwościami w kodowaniu. Model został wydany przez dostawcę 16 października 2024, a jego granica wiedzy to 30 czerwca 2024, więc wszystko, co wydarzyło się po tej dacie, wykracza poza to, czego nauczył się podczas treningu.

Model działa wyłącznie na tekście, zarówno na wejściu, jak i na wyjściu. Przyjmuje polecenia tekstowe i zwraca uzupełnienia tekstowe, z oknem kontekstu wynoszącym 32 768 tokenów i maksymalnym wyjściem 29 491 tokenów. Ta kombinacja oznacza, że możesz wysłać dość długie dokumenty, transkrypcje lub pliki kodu w jednym żądaniu i nadal pozostawić miejsce na znaczącą odpowiedź. Jest to model dostrojony do instrukcji, więc został zaprojektowany do wykonywania poleceń podanych w prompcie, a nie do zwykłego kontynuowania tekstu.

Ze względu na ulepszenia w kodowaniu i ogólną wiedzę model nadaje się do zadań takich jak generowanie kodu, wyjaśnianie kodu i refaktoryzacja, odpowiadanie na pytania dotyczące długich dokumentów, streszczanie długiego tekstu oraz tworzenie lub przepisywanie treści. Dostrojenie do instrukcji czyni go rozsądnym wyborem dla asystentów w stylu czatu oraz dla zadań ekstrakcji lub klasyfikacji, w których opisujesz zadanie w prompcie. Kontekst 32 768 tokenów jest przydatny, gdy materiał, nad którym musisz rozumować, jest długi, na przykład pełny plik źródłowy lub wielostronicowy raport, ponieważ często możesz uniknąć dzielenia go na fragmenty.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "qwen/qwen-2.5-7b-instruct". Żądania mają ten sam kształt co interfejs chat completions OpenAI, więc istniejące biblioteki klienta OpenAI i kod mogą wskazywać na api14 przy minimalnych zmianach. Model obsługuje szeroki zestaw parametrów żądania: frequency_penalty, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k oraz top_p. Wywoływanie narzędzi i ustrukturyzowane wyjścia są dostępne, co oznacza, że możesz pozwolić modelowi wywoływać funkcje, które zdefiniujesz, albo ograniczyć jego wyjście do schematu, a parametr seed pozwala uczynić próbkowanie bardziej powtarzalnym, gdy potrzebujesz spójnych wyników między uruchomieniami.

Pamiętaj o limicie kontekstu podczas projektowania żądań: 32 768 tokenów obejmuje dużo, ale bardzo duże bazy kodu lub dane wejściowe o długości książki nadal będą wymagały dzielenia na fragmenty lub wyszukiwania przed modelem. Model obsługuje wyłącznie tekst, więc jeśli Twoja aplikacja musi przetwarzać obrazy lub dźwięk, nie jest to właściwy wybór. Jeśli potrzebujesz większego okna kontekstu lub silniejszego rozumowania w trudnych problemach, większy model z linii Qwen2.5 lub innej rodziny może posłużyć Ci lepiej, podczas gdy ten wariant 7B pozostaje praktyczną opcją do codziennego generowania, pomocy w kodowaniu i przetwarzania tekstu, gdzie średniej wielkości model wystarcza.