OpenAI: GPT-4o-mini (2024-07-18)

GPT-4o-mini (2024-07-18) é um modelo de geração de texto da OpenAI, lançado a 18 de julho de 2024. Situa-se na linha de modelos pequenos da OpenAI, posicionado pelo fornecedor como o seu modelo pequeno mais avançado e o sucessor do GPT-4 Omni nesse nível. O id de modelo versionado fixa o snapshot em 2024-07-18, para que o comportamento se mantenha consistente entre chamadas em vez de mudar com um alias flutuante.

O modelo aceita texto, imagens e ficheiros como entrada e devolve apenas texto. Tem uma janela de contexto de 128.000 tokens e pode produzir até 16.384 tokens de saída numa única resposta. O seu limite de conhecimento é 31 de outubro de 2023, pelo que qualquer coisa posterior a essa data tem de vir do prompt, de ficheiros que forneça, ou de uma ferramenta de pesquisa. Como a entrada de imagens é suportada, pode passar capturas de ecrã, páginas digitalizadas ou diagramas juntamente com instruções de texto e obter uma resposta em texto.

Essas capacidades adequam-se a uma série de tarefas diárias de programação. A entrada de documentos e ficheiros funciona bem para sumarização, extração e resposta a perguntas sobre contratos, relatórios ou PDFs, enquanto a entrada de imagens cobre a leitura de gráficos, recibos, capturas de ecrã de UI e texto fotografado. O contexto de 128k permite enviar transcrições longas, bases de código ou conjuntos de vários documentos sem os dividir primeiro. A chamada de ferramentas e as saídas estruturadas tornam-no uma escolha razoável para agentes, encaminhamento de funções e pipelines que precisam de JSON moldado a um esquema, e os parâmetros seed, temperature e de penalização dão-lhe controlo sobre quão determinística ou variada é a saída.

Chama-o através da API compatível com OpenAI da api14 usando o id de modelo "openai/gpt-4o-mini-2024-07-18". Como a interface segue a forma de chat completions da OpenAI, os SDKs e clientes OpenAI existentes funcionam com uma alteração do URL base. Os parâmetros de pedido que suporta são frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p e web_search_options. Isso cobre controlos de amostragem, limites de tokens, sequências de paragem, inspeção de probabilidade de log, saída JSON e restringida por esquema, definições de ferramentas e seleção forçada de ferramentas, e opções de pesquisa web.

Há duas restrições que vale a pena notar antes de se comprometer. A saída é apenas texto, por isso se precisar de imagens geradas, áudio ou embeddings, este modelo não é o indicado. O limite de conhecimento de 31 de outubro de 2023 significa que perguntas sensíveis ao tempo precisam de recuperação, entrada de ficheiros ou opções de pesquisa web em vez de confiar no conhecimento do próprio modelo. E o teto de saída de 16.384 tokens limita o quão longa pode ser uma única resposta, o que é importante para tarefas de geração de formato longo.