OpenAI: GPT-4o

O GPT-4o é um modelo de geração de texto da OpenAI, identificado na api14 como openai/gpt-4o. O nome significa "omni", refletindo que aceita mais de um tipo de entrada. Foi lançado pelo fornecedor em 13 de maio de 2024 e situa-se na categoria de texto, com um corte de conhecimento em 31 de outubro de 2023. Se já usou o GPT-4 Turbo, o GPT-4o posiciona-se como mantendo esse nível de inteligência, pelo que é uma escolha padrão razoável quando quer um modelo OpenAI de uso geral em vez de um especializado.

Na entrada, o modelo aceita texto, imagens e ficheiros, e produz apenas texto. Essa combinação é importante para tarefas em que o prompt não é apenas prosa: uma captura de ecrã, uma página digitalizada ou um documento anexado podem ser enviados juntamente com as suas instruções, e o modelo responde em texto. A janela de contexto é de 128.000 tokens, o que é suficiente para documentos longos, conversas com vários turnos ou ficheiros de código grandes num único pedido. A saída está limitada a 16.384 tokens por resposta, pelo que gerações muito longas têm de ser planeadas em torno desse limite, por exemplo pedindo secções em sequência.

Os usos práticos decorrem dessas capacidades. A resposta a perguntas e o resumo de documentos funcionam bem quando anexa um ficheiro ou cola uma transcrição longa e pede respostas específicas. A compreensão de imagens suporta tarefas como ler gráficos, descrever capturas de ecrã, extrair texto de fotografias ou verificar um mock de UI face a uma especificação. Como o modelo suporta ferramentas e saídas estruturadas, também se adequa a fluxos de trabalho ao estilo de agentes e a pipelines de extração de dados em que a resposta tem de respeitar um esquema. Chat geral, redação, reescrita e assistência a código estão todos dentro do âmbito, e o contexto longo torna-o utilizável para perguntas ao nível de repositório em vez de apenas fragmentos isolados.

Chama-o através da API compatível com OpenAI da api14 usando o id de modelo openai/gpt-4o, pelo que os SDKs e clientes OpenAI existentes funcionam apenas com a alteração do URL base e da chave. Os parâmetros de pedido suportados são frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p e web_search_options. Na prática, isso cobre controlos de amostragem, comportamento tendencialmente determinístico através de seed, saída em JSON e restringida por esquema através de response_format e structured_outputs, chamada de funções através de tools e tool_choice, limites de tokens e pesquisa web opcional.

Há dois limites a ter em conta quando escolhe. A saída para nos 16.384 tokens, pelo que se precisar de uma única geração muito longa pode ter de dividir o trabalho ou escolher um modelo com uma margem de saída maior. O corte de conhecimento em 31 de outubro de 2023 significa que o modelo não conhece eventos posteriores por si próprio, e é aí que o parâmetro web_search_options ou o seu próprio contexto recuperado se torna útil. Se a sua tarefa for puramente texto e não beneficiar de entrada de imagem ou ficheiro, um modelo menor apenas de texto pode ser mais barato e mais rápido para o mesmo trabalho.