XingChen: Xing4.0 29B A4B (free)

XingChen: Xing4.0 29B A4B (free) to otwarty model językowy typu mixture-of-experts od XingChen, opracowany przez zespół AI China Telecom (TeleAI). Jest następcą serii TeleChat. Model ma łącznie 29B parametrów, z 4B aktywnymi na token, co oznacza, że tylko podzbiór sieci jest angażowany dla każdego generowanego tokenu. Jest to model wyłącznie tekstowy, wymieniony w kategorii tekstowej na api14.

Model przyjmuje tekst jako dane wejściowe i produkuje tekst jako dane wyjściowe. Obsługuje okno kontekstowe o rozmiarze 262144 tokenów, a jego maksymalna długość wyjściowa wynosi 235929 tokenów. Ta kombinacja czyni go odpowiednim do zadań, w których bardzo długie dokumenty lub rozszerzone rozmowy muszą być przetwarzane w pojedynczym żądaniu, oraz w których sama generowana odpowiedź może być długa. Ponieważ jest to konstrukcja mixture-of-experts, liczba aktywnych parametrów na token jest znacznie mniejsza niż całkowita, co ma znaczenie, jeśli myślisz o przepustowości i charakterystyce obsługi, a nie tylko o samej liczbie parametrów.

Praktyczne przypadki użycia wynikają bezpośrednio z długiego kontekstu i interfejsu wyłącznie tekstowego. Możesz go używać do streszczania lub analizowania długich raportów, umów, transkrypcji lub baz kodu, które nie zmieściłyby się w mniejszych oknach kontekstowych. Nadaje się do asystentów wieloetapowych, które muszą zachować dużą ilość wcześniejszej rozmowy, oraz do odpowiadania na pytania dotyczące dokumentów, gdzie materiał źródłowy jest przekazywany w całości. Obsługa narzędzi i ustrukturyzowanych danych wyjściowych czyni go również kandydatem do przepływów pracy w stylu agentowym, wywoływania funkcji oraz aplikacji, które potrzebują odpowiedzi w zdefiniowanym kształcie JSON, a nie w dowolnym tekście.

Wywołujesz model przez API zgodne z OpenAI na api14, używając identyfikatora modelu "xingchen-agi/xing4.0-29b-a4b:free". Ponieważ endpoint jest zgodny z formatem chat completions OpenAI, możesz użyć istniejących SDK OpenAI i skierować je na api14. Model obsługuje szeroki zestaw parametrów żądania: frequency_penalty, include_reasoning, max_tokens, min_p, presence_penalty, reasoning, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k oraz top_p. Obecność reasoning i include_reasoning oznacza, że możesz zażądać danych wyjściowych rozumowania, tam gdzie model je ujawnia, a tools wraz z tool_choice i structured_outputs obejmują wywoływanie funkcji i generowanie ograniczone schematem.

Jedną rzeczą do rozważenia jest to, że jest to model wyłącznie tekstowy, więc nie może przyjmować obrazów ani dźwięku jako danych wejściowych i ich nie produkuje. Jeśli Twoja aplikacja zależy od danych wejściowych multimodalnych, potrzebowałbyś innego modelu. Wariant darmowy warto również przetestować pod kątem własnych wymagań dotyczących opóźnień i jakości, zanim zdecydujesz się na niego w produkcji, ponieważ podane tutaj fakty opisują możliwości i parametry, a nie zmierzoną wydajność.