Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct is een tekstmodel van Mistral, uitgebracht door de provider op 17 april 2024. Het is de officiële instruct fine-tuned versie van Mixtral 8x22B, een sparse mixture-of-experts ontwerp dat 39B actieve parameters gebruikt van de 141B. De instruct tuning past het basismodel aan voor het volgen van aanwijzingen en het direct beantwoorden van verzoeken, wat de meeste applicatieontwikkelaars willen wanneer ze een model via een API aanroepen.

Het model accepteert tekst en bestanden als invoer en retourneert tekst. Het contextvenster is 65.536 tokens, en de maximale uitvoer is 52.428 tokens, dus zowel lange invoer als lange generaties zijn mogelijk binnen hetzelfde verzoek. De knowledge cutoff is 31 januari 2024, wat betekent dat alles na die datum buiten de training van het model valt. Mistral benadrukt sterke wiskunde en codering als specifieke sterke punten van dit model, naast kostenefficiëntie voor zijn omvang.

Die capaciteiten wijzen op een vrij breed scala aan praktische toepassingen. De lange context is geschikt voor het werken met grote documenten, of dat nu het samenvatten van een lang rapport is, het extraheren van gestructureerde details uit een bestand, of het beantwoorden van vragen op basis van een tekst die in de prompt is meegegeven. De sterke punten in wiskunde en codering maken het een redelijke keuze voor code-assistentie, zoals het uitleggen of genereren van code, en voor kwantitatieve taken die stapsgewijze redenering vereisen. Omdat het bestanden als invoer accepteert, kan het worden gebruikt in pipelines waarin documenten direct worden doorgegeven in plaats van als platte tekst geplakt. Tool calling en structured outputs maken het ook geschikt voor agent-achtige workflows en voor het produceren van antwoorden die downstream code kan parsen.

Je roept het aan via de OpenAI-compatibele API van api14 met het model id "mistralai/mixtral-8x22b-instruct". De ondersteunde verzoekparameters zijn frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools en top_p. In de praktijk dekt dat de gebruikelijke sampling-instellingen (temperature, top_p, penalties, seed, stop), uitvoerlengte via max_tokens, het vormgeven van antwoorden via response_format en structured_outputs, en function calling via tools en tool_choice. Als je al code hebt geschreven tegen de OpenAI chat completions vorm, is overstappen naar dit model vooral een kwestie van het wijzigen van het model id.

Een ding om in gedachten te houden is de knowledge cutoff van 31 januari 2024, dus vragen over latere gebeurtenissen worden niet beantwoord vanuit trainingsdata en kunnen retrieval of context uit de prompt nodig hebben. Het model is tekst-only aan de uitvoerkant, dus taken die het genereren van afbeeldingen of audio vereisen vallen buiten bereik. Als je workload afhankelijk is van zeer recente informatie of van modaliteiten buiten tekst en bestandsinvoer, past een ander model mogelijk beter.