OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k är en textmodell från OpenAI, släppt av leverantören den 28 augusti 2023. Den tillhör GPT-3.5-familjen och är den långa kontextvarianten av standard GPT-3.5 Turbo, med ungefär fyra gånger så lång kontextlängd som den modellen. Det är en allmän språkmodell snarare än en specialiserad sådan, och den riktar sig till utvecklare som behöver mer utrymme i en enskild förfrågan än vad basmodellen GPT-3.5 Turbo erbjuder.

Modellen tar text som indata och returnerar text som utdata. Dess kontextfönster är 16 385 tokens, och maximal utdata är 4 096 tokens. Kunskapsavgränsningen är den 30 september 2021, så allt efter det datumet ligger utanför dess träningsdata. Den större kontexten är den främsta särskiljande faktorn här: OpenAI beskriver den som stödjande för ungefär 20 sidor text i en enskild förfrågan, vilket gör den lämplig för prompter som innehåller mycket källmaterial snarare än en kort instruktion.

Den kapaciteten formar de praktiska användningsfallen. Sammanfattning av långa dokument, besvarande av frågor över en inklistrad corpus, extrahering av strukturerade fält från längre rapporter och fleromgångskonversationer som behöver behålla en stor mängd tidigare dialog passar alla inom kontextfönstret på 16 385 tokens. Eftersom modellen stöder verktyg och strukturerade utdata kan den också användas för arbetsflöden i stil med funktionsanrop där modellen väljer ett verktyg och returnerar argument, och för svar som måste följa ett JSON-schema via response_format. Logprobs och top_logprobs är tillgängliga, vilket hjälper när du behöver inspektera modellens konfidens på tokennivå snarare än bara den slutliga texten.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "openai/gpt-3.5-turbo-16k". Eftersom slutpunkten följer formen för OpenAI chat completions fungerar befintliga OpenAI-SDK:er och klienter med bara en ändring av bas-URL och nyckel. De stödda förfrågningsparametrarna är frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs och top_p. Seed är användbart när du vill ha repeterbar sampling, och stoppsekvenser låter dig avgränsa genereringen.

Två begränsningar är värda att väga in innan du bestämmer dig. Kunskapsavgränsningen i september 2021 innebär att modellen inte känner till senare händelser, bibliotek eller API:er om du inte själv tillhandahåller den kontexten, och taket på 4 096 tokens för utdata begränsar hur mycket den kan producera i ett svar även om indatafönstret är stort. Om din uppgift behöver mer aktuell kunskap, längre utdata eller bildindata täcker denna modell inte det, och en annan modell på api14 skulle passa bättre.