TypeSafe: Jev 1.13

TypeSafe: Jev 1.13 is een gestructureerd beslissingsmodel van TypeSafe, en het eerste van zijn System One-modellen. TypeSafe positioneert System One-modellen als hulpmiddelen die snelle, gestructureerde beslissingen voor software nemen, en een getypeerde keuze retourneren in plaats van vrije tekst. Jev 1.13 is daarom geen algemeen chat- of schrijfmodel: de hoofdcategorie is beslissingen, en beslissingen zijn de enige categorie die het dekt. Als u software bouwt waarin een model moet kiezen tussen gedefinieerde opties, dan is dit de klasse van modellen waarvoor TypeSafe het heeft gebouwd.

Het model accepteert tekst als invoer en produceert beslissingen als uitvoer. Het heeft een contextvenster van 64.000 tokens en een maximale uitvoer van 57.600 tokens. Omdat de uitvoer een getypeerde keuze is in plaats van open tekst, moet u Jev 1.13 zien als een component die op een beslissingspunt in uw systeem past, niet als een model dat u vraagt een essay te schrijven of een gesprek te voeren. De invoerkant is alleen tekst, dus eventuele afbeeldingen, audio of andere modaliteiten moeten naar tekst worden omgezet voordat ze het model bereiken.

De praktische use cases volgen direct uit die vorm. Jev 1.13 past bij routerings- en triagelogica, waarbij een verzoek of record moet worden toegewezen aan een van een bekende set categorieën. Het past bij classificatie- en labelstappen binnen een pipeline, waarbij de uitvoer naar de volgende fase van code gaat in plaats van naar een menselijke lezer. Het past bij poort- en goedkeuringsbeslissingen, waarbij software een consistente keuze nodig heeft tussen gedefinieerde uitkomsten. Het past ook bij elke workflow waarin u wilt dat de beslissing aankomt als een gestructureerde waarde waarop u kunt vertakken, in plaats van tekst te parsen en te hopen dat het formaat standhoudt.

U roept het model aan via de OpenAI-compatibele API van api14 met het model-id "typesafe/jev-1.13". Omdat de API OpenAI-compatibel is, werken bestaande OpenAI-clientbibliotheken en de gebruikelijke vorm van chat completion-verzoeken zonder herschrijving; u wijzigt het model-id en richt uw client op api14. Let op: het model vermeldt geen ondersteunde parameters, dus u moet een gewoon verzoek sturen en er niet op vertrouwen dat afstemmingsopties zoals temperature of top_p worden gerespecteerd. Het model-id is de enige identificatie die u nodig heeft.

Een beperking om in gedachten te houden is het bereik. Jev 1.13 retourneert beslissingen, dus taken die gegenereerde tekst, samenvatting, vertaling of meerbeurtengesprekken nodig hebben, passen slecht, en een algemeen tekstgeneratiemodel zou u daar beter van dienst zijn. Evenzo, als uw beslissingsprobleem beeld- of audio-invoer nodig heeft, accepteert dit model dat niet. Binnen zijn domein, gestructureerde keuzes op basis van tekstinvoer, is het de speciaal gebouwde optie.