Xiaomi: MiMo-V2.6-Flash

MiMo-V2.6-Flash is een open-source basismodel van Xiaomi, vermeld op api14 onder het model-id xiaomi/mimo-v2.6-flash. Het behoort tot de tekstcategorie en is gebouwd op een Mixture-of-Experts-architectuur met 309B totale parameters en 15B geactiveerd per token, met een hybride aandachtmechanisme. Xiaomi positioneert het als een basismodel in plaats van een nauw taakspecifiek systeem, dus het is bedoeld als een algemene basis voor een breed scala aan taalwerk.

Het model accepteert tekst, afbeeldingen, video en audio als invoer, en produceert tekst als uitvoer. Het contextvenster is 1.050.000 tokens, en de maximale uitvoerlengte is 131.072 tokens. Die combinatie van een zeer grote context en multimodale invoer betekent dat een enkel verzoek lange documenten samen met afbeeldingen, video of audio kan bevatten, en nog steeds een substantieel tekstantwoord kan retourneren. Ondersteunde verzoekparameters zijn temperature, top_p, top_k, min_p, frequency_penalty, presence_penalty, repetition_penalty, max_tokens, stop, seed, logit_bias, logprobs, top_logprobs, response_format, structured_outputs, tools, tool_choice, reasoning en include_reasoning.

Die mogelijkheden wijzen op een paar praktische patronen. Langcontextwerk zoals het samenvatten van of queryen in grote documentsets, codebases of transcripties past er natuurlijk bij, aangezien het venster groot genoeg is om materiaal te bevatten dat anders opgesplitst zou moeten worden. Omdat afbeeldingen, video en audio als invoer kunnen worden geleverd, kan het model worden gebruikt voor taken zoals het beschrijven van media, het extraheren van informatie uit screenshots of gescande pagina's, of het beantwoorden van vragen over opgenomen materiaal, waarbij het antwoord als tekst wordt geretourneerd. Tool calling en structured outputs maken het geschikt voor pijplijnen waarin het model functies moet aanroepen of JSON moet uitvoeren die downstreamcode kan parsen, en de parameters reasoning en include_reasoning bieden een manier om tussentijdse redeneringen op te vragen of te inspecteren waar dat nuttig is.

Het aanroepen via api14 werkt hetzelfde als bij elk ander OpenAI-compatibel model. Stuur een verzoek naar het chat completions-endpoint met het modelveld ingesteld op xiaomi/mimo-v2.6-flash, en geef berichten door in het gebruikelijke OpenAI-formaat, inclusief multimodale contentonderdelen voor afbeelding-, video- of audio-invoer. De hierboven genoemde parameters kunnen in de request body worden ingesteld; sampling-besturingen zoals temperature, top_p, top_k en min_p vormen de generatie, max_tokens begrenst de uitvoer, en tools, tool_choice, response_format en structured_outputs dekken functieaanroepen en gestructureerde antwoorden. Streaming en standaard OpenAI-clientbibliotheken zouden naar verwachting werken tegen de compatibele interface.

Een ding om in gedachten te houden is dat de uitvoer alleen tekst is, dus het model kan als antwoord geen afbeeldingen, video of audio genereren. Als een taak het produceren van media vereist in plaats van het beschrijven of redeneren erover, zou een ander model nodig zijn. De grote context en het uitvoerplafond van 131.072 tokens betekenen ook dat verzoeken zwaar kunnen zijn, dus voor korte, eenvoudige prompts kan een kleiner model een evenredigere keuze zijn.