NVIDIA: Nemotron 3.5 Lightning (free)

Nemotron 3.5 Lightning är en öppen mixture-of-experts-modell från NVIDIA. Den har 3B aktiva parametrar av totalt 30B, vilket innebär att bara en bråkdel av nätverket körs per token medan hela modellen fortfarande håller en bred bas av inlärd kunskap. Den tillhör kategorin text, så den är byggd för språkarbete snarare än bilder eller ljud. Taggen "free" på api14 markerar denna variant som en du kan prova utan en betald plan.

Modellen tar emot text och returnerar text. Dess kontextfönster är 1 000 000 tokens, vilket är tillräckligt stort för att rymma hela kodbaser, långa dokumentuppsättningar eller utökade agenttranskript i en enda begäran. Den maximala utdatan är 65 536 tokens, så ett enda anrop kan producera en lång rapport, en stor refaktorering eller en flerstegsplan utan att dela upp arbetet. Eftersom det är en mixture-of-experts-design med ett litet antal aktiva parametrar är den positionerad för agentiska arbetsbelastningar med hög genomströmning och specialiserade uppgifter, där många anrop sker parallellt och latensen per anrop spelar roll.

Dessa egenskaper pekar mot några praktiska mönster. Långkontextsökning och sammanfattning passar bra: du kan skicka in en stor korpus och be om en syntes i ett enda svep. Agentloopar är ett annat passande användningsområde, eftersom modellen stöder tool calling och kan avgöra när en funktion ska anropas och hur resultatet ska användas. Batchklassificering, extrahering och routning över stora textvolymer är också rimligt med tanke på inriktningen mot genomströmning. Resonerande tunga prompter stöds också, så uppgifter som drar nytta av en synlig tankekedja före det slutliga svaret kan hanteras i samma modell.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "nvidia/nemotron-3.5-lightning:free". Peka din befintliga OpenAI-klient mot api14:s bas-URL och skicka det id:t i fältet model. De begäranparametrar den stöder är include_reasoning, max_tokens, reasoning, seed, temperature, tool_choice, tools och top_p. Använd tools och tool_choice för function calling, temperature och top_p för att forma sampling, seed för reproducerbara körningar och max_tokens för att begränsa svaret. Parametrarna reasoning och include_reasoning styr huruvida resonemangsinnehåll begärs och returneras.

En sak att väga in är taket för utdata. Vid 65 536 tokens per svar kan mycket stora engångsgenereringar behöva delas upp över flera anrop även om indatafönstret är mycket större. Om din uppgift är beroende av andra modaliteter än text kommer denna modell inte att täcka det. Och om du behöver högsta möjliga resonemangskvalitet snarare än genomströmning för agentiskt och specialiserat arbete kan en större modell vara det bättre valet.