OpenAI: GPT-3.5 Turbo (batch)

OpenAI: GPT-3.5 Turbo (batch) é um modelo de texto da OpenAI, oferecido através da api14 sob o id de modelo openai/gpt-3.5-turbo:batch. Pertence à família GPT-3.5 Turbo, que a OpenAI descreve como o seu modelo mais rápido. A data de lançamento do fornecedor é 2023-05-28, e os dados de treino abrangem até setembro de 2021, pelo que o conhecimento incorporado do modelo termina nesse ponto.

O modelo funciona com entrada de texto e produz saída de texto. Compreende e gera linguagem natural ou código, e é otimizado para chat e tarefas de conclusão tradicionais. A janela de contexto é de 16.385 tokens, e a saída máxima é de 4.096 tokens. Como lida tanto com prosa como com código, adequa-se a cargas de trabalho que misturam turnos conversacionais com geração de texto estruturado.

Os usos práticos decorrem diretamente dessas características. Assistentes de chat, interfaces conversacionais e diálogo multi-turno são uma escolha natural dada a otimização para chat. Tarefas de conclusão tradicionais, como redigir, resumir ou reescrever texto, também funcionam. Como o modelo consegue gerar código, também pode ajudar com prompts orientados a código. O contexto de 16.385 tokens dá espaço para conversas mais longas ou prompts maiores, enquanto o limite de saída de 4.096 tokens se adequa a respostas que não precisam de ser extremamente longas.

Pode chamá-lo através da API compatível com OpenAI da api14 usando o id de modelo openai/gpt-3.5-turbo:batch. Os parâmetros de pedido que suporta são frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs e top_p. Esse conjunto cobre controlos de amostragem, limites de tokens, sequências de paragem, seeding determinístico, saída estruturada e chamada de ferramentas ou funções, pelo que pode moldar tanto respostas de texto simples como fluxos orientados por ferramentas sem sair da interface padrão.

Tenha em conta o corte de conhecimento: qualquer coisa após setembro de 2021 está fora dos dados de treino do modelo, pelo que perguntas sensíveis ao tempo podem precisar de recuperação ou de contexto fornecido no prompt. O limite de saída de 4.096 tokens também é relevante para tarefas que exigem respostas únicas longas. Para essas situações, ou quando uma tarefa depende de informação mais recente, outro modelo pode adequar-se melhor.