Amazon: Nova Lite 1.0

Amazon Nova Lite 1.0 is een tekstgeneratiemodel van Amazon, uitgebracht op 5 december 2024. Het maakt deel uit van de Nova-familie van modellen van Amazon en is gepositioneerd als een snelle, voordelige optie voor multimodaal werk. Het model wordt op api14 geïdentificeerd als amazon/nova-lite-v1, en Amazon is zowel de ontwikkelaar als de provider erachter.

Het model accepteert tekst- en afbeeldingsinvoer en produceert tekstuitvoer. Het heeft een contextvenster van 300.000 tokens, waardoor zeer lange documenten, lange gesprekken of grote verzamelingen afbeeldingen en tekst in één verzoek kunnen worden verwerkt. De maximale uitvoer is 5.120 tokens, dus antwoorden zijn begrensd, zelfs wanneer de invoer groot is. De kennisafsluitdatum is 31 oktober 2024, wat betekent dat het geen informatie heeft over gebeurtenissen na die datum, tenzij die informatie in de prompt wordt aangeleverd. Amazon beschrijft het model als gericht op snelle verwerking van beeld-, video- en tekstinvoer om tekstuitvoer te genereren, dus snelheid op multimodale invoer is een centraal onderdeel van het ontwerp.

Die mogelijkheden wijzen op een paar praktische toepassingen. Omdat het zowel afbeeldingen als tekst leest, is het geschikt voor taken zoals het beschrijven of samenvatten van beeldinhoud, het extraheren van informatie uit schermafbeeldingen of gescande documenten, en het beantwoorden van vragen die afhangen van een mix van afbeeldingen en geschreven instructies. De context van 300.000 tokens maakt het werkbaar voor lange rapporten, lange chatgeschiedenissen of batches materiaal die niet in een kleiner venster zouden passen. De uitvoerlimiet van 5.120 tokens betekent dat het beter geschikt is voor samenvattingen, antwoorden, classificaties en korte gegenereerde passages dan voor het produceren van zeer lange documenten in één aanroep. Ontwikkelaars die assistenten bouwen die naar een afbeelding moeten kijken en in tekst moeten antwoorden, of pipelines die grote hoeveelheden gemengde invoer snel moeten verwerken, zijn het natuurlijke publiek.

Je roept het model aan via de OpenAI-compatibele API van api14 met de model-id amazon/nova-lite-v1. Omdat de interface het OpenAI-formaat volgt, werken bestaande OpenAI-clientbibliotheken en verzoekstructuren over het algemeen met alleen de modelnaam gewijzigd. De ondersteunde verzoekparameters zijn max_tokens, stop, temperature, tools, top_k en top_p. De parameter tools betekent dat functie- of toolaanroepen beschikbaar zijn, dus het model kan worden gebruikt in agent-achtige opstellingen waarin het beslist wanneer het een externe functie aanroept. temperature, top_k en top_p geven controle over sampling, terwijl stop je reeksen laat definiëren die generatie beëindigen en max_tokens de antwoordlengte begrenst.

Een paar beperkingen zijn het overwegen waard voordat je je vastlegt. De uitvoer is beperkt tot 5.120 tokens, dus als je zeer lange enkele antwoorden nodig hebt, past een model met een hogere uitvoerlimiet mogelijk beter. De kennisafsluitdatum van 31 oktober 2024 betekent dat vragen over latere gebeurtenissen de relevante context in de prompt nodig hebben. Het model voert alleen tekst uit, dus het kan geen afbeeldingen genereren. Als je taak puur tekstueel is en geen baat heeft bij afbeeldingsinvoer of een zeer grote context, kan een eenvoudiger tekst-only model voldoende zijn.