AionLabs: Aion 3.5

Aion 3.5 è un modello testuale di AionLabs, elencato su api14 con l'id modello aion-labs/aion-3.5. AionLabs lo descrive come un sistema multi-modello per roleplaying e narrazione costruito sulla famiglia di modelli GLM. Piuttosto che un singolo generatore monolitico, utilizza un processo di generazione collaborativa in cui più modelli specializzati contribuiscono ciascuno all'output. Questa scelta di progettazione plasma ciò in cui il modello eccelle, e vale la pena tenerla a mente quando decidi dove collocarlo in una pipeline.

Sul lato input, Aion 3.5 accetta solo testo e restituisce solo testo, quindi non è adatto per lavori su audio, immagini o video. La sua finestra di contesto è di 262.144 token, abbastanza ampia da contenere lunghe conversazioni, archi narrativi estesi o documenti di riferimento di dimensioni considerevoli in una singola richiesta. L'output massimo è di 32.768 token, quindi le risposte possono essere lunghe quando ti serve. Il modello supporta l'output di ragionamento, e puoi controllare questo comportamento tramite i parametri include_reasoning, reasoning e reasoning_effort.

Queste capacità indicano un insieme di utilizzi piuttosto specifico. Il roleplay e la narrazione interattiva sono quelli ovvi, dato che il modello è stato costruito per essi e il contesto lungo permette a una sessione di portare con sé molti turni precedenti senza tagli. Le stesse proprietà si adattano a chat guidate dai personaggi, stesura di narrativa lunga e strumenti di scrittura collaborativa in cui un utente e il modello costruiscono una storia insieme. Il tetto di output di 32.768 token aiuta quando vuoi un'intera scena o una sezione di capitolo in una sola risposta invece di cucire insieme molte completamenti brevi. L'output strutturato tramite response_format e la chiamata di funzioni tramite tools e tool_choice lo rendono inoltre utilizzabile in applicazioni che necessitano che il modello restituisca dati in una forma definita o chiami il tuo codice.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id modello aion-labs/aion-3.5, quindi gli SDK e i client OpenAI esistenti funzionano con un cambio di base URL e nome del modello. I parametri di richiesta supportati sono include_reasoning, max_tokens, reasoning, reasoning_effort, response_format, temperature, tool_choice, tools e top_p. Usa temperature e top_p per il controllo del campionamento, max_tokens per limitare la lunghezza della risposta, e i parametri di ragionamento quando vuoi vedere o guidare il ragionamento del modello. La coppia tools e tool_choice copre la chiamata di funzioni, e response_format copre gli output strutturati.

Poiché il modello è testo in input e testo in output, le attività che dipendono da altre modalità necessitano di un modello diverso. Lo stesso vale se vuoi un assistente generico invece di uno ottimizzato per roleplay e narrazione, anche se il supporto per tool e output strutturato significa che può comunque servire come fase di generazione all'interno di un'applicazione più ampia.