AionLabs: Aion 3.5

Aion 3.5 is een tekstmodel van AionLabs, vermeld op api14 onder de model-id aion-labs/aion-3.5. AionLabs beschrijft het als een multi-model roleplaying- en storytelling-systeem gebouwd op de GLM-familie van modellen. In plaats van een enkele monolithische generator gebruikt het een collaboratief generatieproces waarin meerdere gespecialiseerde modellen elk aan de uitvoer bijdragen. Die ontwerpkeuze bepaalt waar het model goed in is, en het is de moeite waard om dat in gedachten te houden wanneer je beslist waar je het in een pipeline plaatst.

Aan de invoerkant accepteert Aion 3.5 alleen tekst en retourneert het alleen tekst, dus het is niet geschikt voor audio-, beeld- of videowerk. Het contextvenster is 262.144 tokens, wat groot genoeg is om lange gesprekken, uitgebreide verhaallijnen of omvangrijke referentiedocumenten in een enkel verzoek op te nemen. De maximale uitvoer is 32.768 tokens, dus antwoorden kunnen lang worden wanneer je dat nodig hebt. Het model ondersteunt reasoning-uitvoer, en je kunt dat gedrag sturen via de parameters include_reasoning, reasoning en reasoning_effort.

Die mogelijkheden wijzen op een vrij specifieke set toepassingen. Roleplay en interactief storytelling zijn de voor de hand liggende, aangezien het model daarvoor is gebouwd en de lange context het mogelijk maakt dat een sessie veel eerdere beurten meeneemt zonder in te korten. Dezelfde eigenschappen passen bij personagegedreven chat, het schrijven van lange fictie en collaboratieve schrijftools waarbij een gebruiker en het model samen een verhaal opbouwen. Het uitvoerplafond van 32.768 tokens helpt wanneer je een volledige scène of hoofdstukdeel in een enkel antwoord wilt in plaats van veel korte completions aan elkaar te rijgen. Gestructureerde uitvoer via response_format en functieaanroepen via tools en tool_choice maken het ook bruikbaar in applicaties die vereisen dat het model gegevens in een gedefinieerde vorm retourneert of je eigen code aanroept.

Je roept het aan via de OpenAI-compatibele API van api14 met de model-id aion-labs/aion-3.5, dus bestaande OpenAI SDK's en clients werken met een wijziging van de base-URL en de modelnaam. De ondersteunde verzoekparameters zijn include_reasoning, max_tokens, reasoning, reasoning_effort, response_format, temperature, tool_choice, tools en top_p. Gebruik temperature en top_p voor sampling-controle, max_tokens om de antwoordlengte te beperken, en de reasoning-parameters wanneer je de reasoning van het model wilt zien of sturen. Het paar tools en tool_choice dekt functieaanroepen, en response_format dekt gestructureerde uitvoer.

Aangezien het model tekst in en tekst uit is, hebben taken die afhankelijk zijn van andere modaliteiten een ander model nodig. Hetzelfde geldt als je een algemene assistent wilt in plaats van een die is afgestemd op roleplay en storytelling, hoewel de ondersteuning voor tools en gestructureerde uitvoer betekent dat het nog steeds kan dienen als de generatiestap binnen een grotere applicatie.