OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instruct é um modelo de texto da OpenAI, lançado em 28 de setembro de 2023. É uma variante do GPT-3.5 Turbo ajustada para prompts instrucionais, e omite as otimizações relacionadas a chat encontradas nos modelos conversacionais da OpenAI. Seus dados de treinamento vão até setembro de 2021, que é o corte de conhecimento declarado.

O modelo recebe texto como entrada e retorna texto como saída, portanto se encaixa em trabalho no estilo de conclusão simples, e não em tarefas multimodais. Tem um comprimento de contexto de 4095 tokens e uma saída máxima de 3685 tokens. Os parâmetros de requisição suportados incluem temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format e structured_outputs.

Como o modelo é ajustado para instruções em vez de otimizado para chat, o encaixe natural é o trabalho de prompt de turno único para conclusão. Usos típicos incluem redigir e reescrever texto, sumarização, classificação, extração para uma estrutura definida e pipelines de geração em que você envia uma instrução e consome uma resposta. O suporte a structured outputs e response_format é útil quando o código downstream precisa de formatos previsíveis, e logprobs com top_logprobs ajudam quando você quer inspecionar a confiança em nível de token. O parâmetro seed ajuda quando você quer uma amostragem mais reproduzível entre execuções.

Você chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "openai/gpt-3.5-turbo-instruct". As requisições seguem o esquema no estilo OpenAI chat completions, então SDKs e clientes OpenAI existentes funcionam com apenas uma mudança de URL base e chave. Envie sua instrução como o conteúdo da mensagem do usuário e defina qualquer um dos parâmetros suportados listados acima. Observe que, como este modelo é ajustado para instruções em vez de otimizado para chat, prompts escritos como uma instrução única e clara tendem a se adequar melhor a ele do que conversas longas de múltiplos turnos.

As principais restrições a considerar são o comprimento de contexto de 4095 tokens e o corte de conhecimento de setembro de 2021, então qualquer coisa que exija informações recentes deve ser fornecida no próprio prompt. Documentos longos, arquivos de código grandes ou diálogos estendidos de múltiplos turnos podem exceder a janela ou funcionar de forma menos natural aqui. Se você precisa de uma conversa de ida e volta, um modelo otimizado para chat geralmente é uma opção melhor, e se você precisa de um contexto muito maior, outro modelo do catálogo se encaixará melhor.