OpenAI: GPT-3.5 Turbo (older v0613)

GPT-3.5 Turbo (versão mais antiga v0613) é um modelo de texto da OpenAI, distribuído sob o id de modelo openai/gpt-3.5-turbo-0613. Pertence à família GPT-3.5 Turbo, que a OpenAI descreve como a sua linha de modelos mais rápida, e esta versão específica é um snapshot mais antigo que continua disponível para workloads que dependem do seu comportamento específico. Os seus dados de treino vão até setembro de 2021, por isso não tem conhecimento de eventos posteriores a esse ponto, a menos que forneça a informação você mesmo no prompt.

O modelo aceita texto como entrada e devolve texto como saída, o que o torna um modelo de linguagem de uso geral para chat e tarefas de completion tradicionais. Consegue compreender e gerar linguagem natural, bem como código. A janela de contexto é de 4.095 tokens, e a saída máxima é de 3.685 tokens, por isso tanto o prompt como a resposta partilham um orçamento bastante apertado em comparação com modelos modernos maiores. Não há entrada de imagem, áudio ou ficheiros aqui; tudo o que enviar tem de ser texto.

Como lida tanto com prosa como com código, o modelo adequa-se a uma série de tarefas do dia a dia: assistentes de chat e interfaces conversacionais, redação e reescrita de texto, sumarização de documentos curtos, classificação e extração sobre entradas pequenas, e geração ou explicação de código leve. O seu suporte para ferramentas e saídas estruturadas também o torna utilizável para function calling simples e para produzir respostas num formato definido, o que ajuda quando precisa de saída legível por máquina em vez de texto livre. A janela de 4.095 tokens significa que se adequa a prompts e respostas que cabem confortavelmente em algumas páginas de texto, não a análise de documentos longos.

Pode chamá-lo através da API compatível com OpenAI da api14, passando o id de modelo openai/gpt-3.5-turbo-0613 no seu pedido, por isso os SDKs e bibliotecas de cliente OpenAI existentes funcionam apenas com uma alteração de base URL e chave. Os parâmetros de pedido suportados são frequency_penalty, logit_bias, logprobs, max_completion_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs e top_p. Isto cobre controlos de amostragem, determinismo através de seed, inspeção ao nível dos tokens através de logprobs e top_logprobs, e saída orientada por ferramentas ou esquemas através de tools, tool_choice, response_format e structured_outputs.

A principal restrição a ter em conta é o comprimento do contexto. Com 4.095 tokens e um limite de saída de 3.685 tokens, conversas longas, bases de código grandes ou prompts com múltiplos documentos vão precisar de chunking, retrieval ou trimming, e o corte de conhecimento de setembro de 2021 significa que a informação recente tem de vir do seu próprio contexto. Se a sua tarefa precisar de uma janela muito maior, conhecimento mais recente ou entrada multimodal, um modelo diferente na api14 provavelmente encaixará melhor. Para tarefas curtas de texto e código de elevado volume, onde a velocidade importa, este modelo continua a ser uma escolha razoável.