OpenAI: GPT-4o (batch)

OpenAI: GPT-4o (batch) é um modelo de geração de texto da OpenAI, oferecido aqui sob o id de modelo openai/gpt-4o:batch. Pertence à família GPT-4o, onde o "o" significa "omni", e a OpenAI descreve-o como suportando entradas de texto e imagem com saídas de texto. A variante batch é o mesmo modelo subjacente servido através de um fluxo de trabalho em lote em vez de um interativo, o que o torna adequado para trabalho que não necessita de uma resposta imediata.

Em termos de capacidades, o modelo aceita texto, imagens e ficheiros como entrada e devolve apenas texto. Tem uma janela de contexto de 128.000 tokens e pode produzir até 16.384 tokens numa única resposta. O seu limite de conhecimento é 31 de outubro de 2023, pelo que qualquer coisa posterior a essa data tem de vir do prompt ou de uma ferramenta e não do próprio treino do modelo. Os parâmetros de pedido suportados incluem temperature, top_p, max_tokens, stop, seed, frequency_penalty, presence_penalty, logit_bias, logprobs e top_logprobs, juntamente com response_format, structured_outputs, tools, tool_choice, prediction e web_search_options.

Essas capacidades apontam para um conjunto bastante amplo de utilizações práticas. Como as imagens e os ficheiros podem ser passados juntamente com texto, o modelo é adequado para revisão de documentos, extração de material digitalizado ou em PDF, e sumarização de relatórios longos que de outra forma excederiam uma janela de contexto mais pequena. A janela de 128.000 tokens também o torna razoável para analisar grandes bases de código, transcrições longas ou conjuntos de múltiplos documentos num único pedido. A chamada de ferramentas e as saídas estruturadas tornam-no um candidato para pipelines em que o modelo tem de devolver JSON legível por máquina ou invocar funções externas, e a via batch é adequada para tarefas offline, como classificação em massa, etiquetagem de conteúdo ou geração de resumos em grande escala num corpus extenso.

Chamá-lo através de api14 funciona da mesma forma que qualquer outro endpoint compatível com OpenAI. Envia um pedido para a rota de chat completions com o campo model definido como openai/gpt-4o:batch, e pode passar qualquer um dos parâmetros listados acima no corpo do pedido. Como o endpoint segue o esquema da OpenAI, as bibliotecas de cliente e SDKs existentes da OpenAI geralmente funcionam sem modificações, e alternar entre modelos é habitualmente uma questão de alterar o id do modelo.

Uma coisa a ter em conta é o limite de conhecimento de 31 de outubro de 2023, o que significa que perguntas sobre eventos posteriores precisam de ser fundamentadas através do prompt ou de web_search_options. A saída é apenas texto, pelo que a geração de imagens está fora do âmbito. Se a sua carga de trabalho necessitar de uma resposta síncrona e de baixa latência em vez de processamento em lote, uma variante GPT-4o não batch seria a escolha mais natural.