Microsoft: Microsoft-Decision-1

Microsoft-Decision-1 is een model van Microsoft, vermeld op api14 onder de model-id microsoft/microsoft-decision-1. Het valt in de categorie decisions in plaats van de algemene chatcategorie, wat weerspiegelt waarvoor het is gebouwd: snelle beslissingen nemen in plaats van een gesprek voeren. Microsoft beschrijft het als een klein model, dus het is gericht op workloads waarbij een snel antwoord belangrijker is dan langere tekstgeneratie.

Het model neemt tekst als enige invoer en retourneert beslissingen als uitvoer. Het schrijft geen proza. In plaats daarvan leest het de inhoud die je aanlevert en retourneert het een gekalibreerde waarschijnlijkheid voor elke vaste antwoordoptie die je opgeeft. Dat betekent dat jij de mogelijke antwoorden definieert, en het model scoort ze in plaats van er één in vrije tekst te kiezen. Het contextvenster is 32768 tokens, en de maximale uitvoer is 29491 tokens. Er zijn geen request-parameters vermeld als ondersteund voor dit model.

Omdat de uitvoer een waarschijnlijkheid per optie is, zijn de natuurlijke use cases classificatie- en routingtaken. Je kunt het gebruiken om inkomende tekst in te delen in een van meerdere bekende labels, om te bepalen welke wachtrij of handler een verzoek moet verwerken, of om kandidaatantwoorden te scoren wanneer je een betrouwbaarheidswaarde nodig hebt in plaats van één harde keuze. Overal waar je anders een chatmodel zou prompten om met één woord uit een vaste set te antwoorden, geeft dit model je dezelfde beslissing met een gekalibreerde waarschijnlijkheid eraan gekoppeld, wat nuttig is wanneer downstream-logica moet handelen op basis van hoe zeker het model is.

Het aanroepen via api14 werkt hetzelfde als bij elk ander model op de gateway, met de OpenAI-compatibele API met de model-id microsoft/microsoft-decision-1. Je stuurt je inhoud en je vaste antwoordopties mee in het request, en je krijgt de waarschijnlijkheden terug. Aangezien er geen request-parameters vermeld zijn als ondersteund, kun je uitgaan van de basisvorm van het request en erop rekenen dat optionele knoppen zoals temperature of top_p het gedrag niet veranderen. Controleer de actuele prijstabel op de pagina voor de huidige tarieven.

De belangrijkste beperkingen volgen uit het ontwerp. Invoer is alleen tekst, dus afbeeldingen, audio en andere modaliteiten vallen buiten bereik. Uitvoer bestaat uit beslissingen, niet uit proza, dus als je een uitleg, een samenvatting of een gegenereerd document nodig hebt, is een tekstgeneratiemodel de betere keuze. Het contextvenster van 32768 tokens beperkt ook hoeveel inhoud je per aanroep kunt aanleveren. Binnen die grenzen is het een gericht hulpmiddel om tekst snel om te zetten in gescoorde keuzes.