OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instruct är en textmodell från OpenAI, släppt den 28 september 2023. Det är en variant av GPT-3.5 Turbo som är finjusterad för instruktionsprompter, och den utelämnar de chattrelaterade optimeringarna som finns i OpenAIs konversationsmodeller. Dess träningsdata sträcker sig fram till september 2021, vilket är den angivna kunskapsgränsen.

Modellen tar text som indata och returnerar text som utdata, så den passar vanligt kompletteringsarbete snarare än multimodala uppgifter. Den har en kontextlängd på 4095 tokens och en maximal utdata på 3685 tokens. Stödda förfrågningsparametrar inkluderar temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format och structured_outputs.

Eftersom modellen är instruktionsfinjusterad snarare än chattoptimerad är den naturliga tillämpningen enkelriktat arbete från prompt till komplettering. Typiska användningsområden inkluderar att utarbeta och skriva om text, sammanfatta, klassificera, extrahera till en definierad struktur och genereringspipelines där du skickar en instruktion och konsumerar ett svar. Strukturerade utdata och stöd för response_format är användbara när nedströmskod behöver förutsägbara former, och logprobs med top_logprobs hjälper när du vill granska konfidens på tokennivå. Parametern seed hjälper när du vill ha mer reproducerbar sampling mellan körningar.

Du anropar modellen via api14:s OpenAI-kompatibla API med modell-id:t "openai/gpt-3.5-turbo-instruct". Förfrågningar följer schemat i OpenAI chat completions-stil, så befintliga OpenAI-SDK:er och klienter fungerar med bara en ändring av bas-URL och nyckel. Skicka din instruktion som innehållet i användarmeddelandet och ställ in någon av de stödda parametrarna som listas ovan. Observera att eftersom denna modell är instruktionsfinjusterad snarare än chattoptimerad, tenderar prompter skrivna som en tydlig enskild instruktion att passa den bättre än långa flerturskonversationer.

De främsta begränsningarna att planera runt är kontextlängden på 4095 tokens och kunskapsgränsen i september 2021, så allt som kräver aktuell information måste tillhandahållas i prompten själv. Långa dokument, stora kodfiler eller utökade flertursdialoger kan överskrida fönstret eller fungera mindre naturligt här. Om du behöver en konversation fram och tillbaka är en chattoptimerad modell vanligtvis en bättre matchning, och om du behöver en mycket större kontext passar en annan modell i katalogen bättre.