OpenAI: GPT-4 Turbo (batch)

GPT-4 Turbo (batch) é um modelo de geração de texto da OpenAI, oferecido na api14 sob o id de modelo openai/gpt-4-turbo:batch. É a variante em lote da linha GPT-4 Turbo da OpenAI, a versão que adicionou capacidades de visão. A api14 encaminha pedidos para ele através da mesma interface compatível com OpenAI que você usa para outros modelos na plataforma, portanto não é necessário nenhum SDK separado nem trabalho de integração.

O modelo aceita entrada de texto e imagem e produz saída de texto, o que significa que você pode misturar prompts e imagens num único pedido quando isso ajudar. Suporta uma janela de contexto de 128.000 tokens, e as respostas podem ir até 4.096 tokens. Os seus dados de treino vão até dezembro de 2023. Os pedidos com visão funcionam em conjunto com o modo JSON e a chamada de funções, portanto a saída estruturada e o uso de ferramentas não estão restritos a chamadas apenas de texto.

Essas capacidades apontam para alguns padrões práticos. Documentos longos, bases de código ou transcrições cabem confortavelmente na janela de 128.000 tokens, portanto sumarização, extração e resposta a perguntas sobre entradas grandes são viáveis sem fragmentação pesada. Como as imagens são aceites como entrada, a análise de capturas de ecrã, a interpretação de diagramas e a análise de documentos a partir de páginas digitalizadas também estão ao alcance. A chamada de funções e as saídas estruturadas tornam-no adequado para agentes, fluxos de trabalho que usam ferramentas e pipelines que precisam de respostas legíveis por máquina, enquanto o modo JSON mantém a análise a jusante previsível.

Para o chamar na api14, envie um pedido para o endpoint de chat completions com o campo model definido como openai/gpt-4-turbo:batch, exatamente como faria com a própria API da OpenAI. O modelo suporta frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs e top_p. Isso cobre controlos de amostragem, determinismo através de seed, limites de tokens, sequências de paragem, formatos de saída estruturada e definições de ferramentas, portanto a maioria dos corpos de pedido padrão ao estilo OpenAI funciona sem alterações.

Vale a pena notar duas restrições antes de avançar. A saída está limitada a 4.096 tokens por resposta, portanto tarefas que exijam completações únicas muito longas podem ter de ser divididas por várias chamadas, e a data de corte de conhecimento de dezembro de 2023 significa que o modelo não tem conhecimento de nada posterior a essa data, a menos que você o forneça no prompt. Se a sua carga de trabalho precisar de conhecimento mais recente, orçamentos de saída maiores ou um perfil de custo diferente, verifique os outros modelos disponíveis na api14 antes de escolher este.