XingChen: Xing4.0 29B A4B (free)

XingChen: Xing4.0 29B A4B (free) ist ein offenes Mixture-of-Experts-Sprachmodell mit offenen Gewichten von XingChen, entwickelt vom KI-Team von China Telecom (TeleAI). Es ist der Nachfolger der TeleChat-Serie. Das Modell hat insgesamt 29B Parameter mit 4B aktiven Parametern pro Token, was bedeutet, dass für jedes generierte Token nur eine Teilmenge des Netzwerks aktiviert wird. Es ist ein reines Textmodell und auf api14 unter der Kategorie Text aufgeführt.

Das Modell akzeptiert Text als Eingabe und erzeugt Text als Ausgabe. Es unterstützt ein Kontextfenster von 262144 Token, und seine maximale Ausgabelänge beträgt 235929 Token. Diese Kombination macht es geeignet für Arbeitslasten, bei denen sehr lange Dokumente oder ausgedehnte Konversationen in einer einzigen Anfrage verarbeitet werden müssen und bei denen die generierte Antwort selbst lang sein kann. Da es sich um ein Mixture-of-Experts-Design handelt, ist die Anzahl der aktiven Parameter pro Token viel kleiner als die Gesamtzahl, was relevant ist, wenn man über Durchsatz und Serving-Eigenschaften nachdenkt und nicht nur über die reine Parameteranzahl.

Praktische Anwendungsfälle ergeben sich direkt aus dem langen Kontext und der reinen Text-Schnittstelle. Man kann es zum Zusammenfassen oder Analysieren langer Berichte, Verträge, Transkripte oder Codebasen verwenden, die nicht in kleinere Kontextfenster passen würden. Es eignet sich für Multi-Turn-Assistenten, die eine große Menge vorheriger Konversation behalten müssen, und für Dokumentenfragenbeantwortung, bei der das Quellmaterial vollständig übergeben wird. Die Unterstützung von Tools und strukturierter Ausgabe macht es außerdem zu einem Kandidaten für agentenartige Workflows, Function Calling und Anwendungen, die Antworten in einer definierten JSON-Form statt als freien Text benötigen.

Man ruft das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID "xingchen-agi/xing4.0-29b-a4b:free" auf. Da der Endpunkt dem OpenAI-Chat-Completions-Format folgt, kann man bestehende OpenAI-SDKs verwenden und sie auf api14 richten. Das Modell unterstützt eine breite Palette von Anfrageparametern: frequency_penalty, include_reasoning, max_tokens, min_p, presence_penalty, reasoning, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k und top_p. Das Vorhandensein von reasoning und include_reasoning bedeutet, dass man Reasoning-Ausgabe anfordern kann, wo das Modell sie offenlegt, und tools zusammen mit tool_choice und structured_outputs deckt Function Calling und schema-beschränkte Generierung ab.

Ein Punkt, den man abwägen sollte, ist, dass dies ein reines Textmodell ist, sodass es keine Bilder oder Audiodaten als Eingabe akzeptieren kann und solche auch nicht erzeugt. Wenn Ihre Anwendung multimodale Eingaben benötigt, bräuchten Sie ein anderes Modell. Die kostenlose Variante sollte man außerdem gegen die eigenen Latenz- und Qualitätsanforderungen testen, bevor man sich in der Produktion darauf festlegt, da die hier genannten Fakten Fähigkeiten und Parameter beschreiben und nicht gemessene Leistung.