OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k é um modelo de texto da OpenAI, lançado pelo fornecedor em 28 de agosto de 2023. Ele pertence à família GPT-3.5 e é a variante de contexto longo do GPT-3.5 Turbo padrão, oferecendo aproximadamente quatro vezes o comprimento de contexto desse modelo. É um modelo de linguagem de uso geral, e não especializado, e é destinado a desenvolvedores que precisam de mais espaço em uma única requisição do que o GPT-3.5 Turbo base oferece.

O modelo aceita texto como entrada e retorna texto como saída. Sua janela de contexto é de 16.385 tokens, e a saída máxima é de 4.096 tokens. O corte de conhecimento é 30 de setembro de 2021, então qualquer coisa após essa data está fora dos seus dados de treinamento. O contexto maior é o principal diferencial aqui: a OpenAI o descreve como suportando aproximadamente 20 páginas de texto em uma única requisição, o que o torna adequado para prompts que carregam muito material de origem em vez de uma instrução curta.

Essa capacidade molda os casos de uso práticos. Resumir documentos longos, responder perguntas sobre um corpus colado, extrair campos estruturados de relatórios extensos e conversas de múltiplos turnos que precisam reter uma grande quantidade de diálogo anterior cabem todos dentro da janela de 16.385 tokens. Como o modelo suporta ferramentas e saídas estruturadas, ele também pode ser usado para fluxos de trabalho no estilo function calling, em que o modelo seleciona uma ferramenta e retorna argumentos, e para respostas que devem estar em conformidade com um esquema JSON via response_format. Logprobs e top_logprobs estão disponíveis, o que ajuda quando você precisa inspecionar a confiança em nível de token do modelo em vez de apenas o texto final.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "openai/gpt-3.5-turbo-16k". Como o endpoint segue o formato de chat completions da OpenAI, SDKs e clientes OpenAI existentes funcionam com apenas uma mudança de URL base e chave. Os parâmetros de requisição suportados são frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs e top_p. Seed é útil quando você quer amostragem repetível, e sequências de stop permitem limitar a geração.

Duas restrições valem a pena ser ponderadas antes de você se comprometer. O corte de conhecimento de setembro de 2021 significa que o modelo não tem conhecimento de eventos, bibliotecas ou APIs posteriores, a menos que você forneça esse contexto por conta própria, e o teto de saída de 4.096 tokens limita quanto ele pode produzir em uma resposta, mesmo que a janela de entrada seja grande. Se sua tarefa precisa de conhecimento mais recente, uma saída mais longa ou entrada de imagem, este modelo não cobre isso, e um modelo diferente na api14 seria a melhor escolha.