OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) é um modelo de geração de texto da OpenAI, oferecido aqui na sua variante batch. Pertence à família GPT-4o e posiciona-se como o modelo pequeno da OpenAI, situando-se abaixo do GPT-4o completo. O fornecedor lançou-o a 18 de julho de 2024, e o seu conhecimento de treino vai até 31 de outubro de 2023. Se já utilizou outros modelos da OpenAI, o comportamento e a interface serão familiares.

O modelo aceita texto, imagens e ficheiros como entrada, e devolve apenas texto. A sua janela de contexto é de 128.000 tokens, o que é suficiente para conter documentos longos, conversas com vários turnos ou uma mistura de prosa e imagens num único pedido. A saída está limitada a 16.384 tokens por resposta. Como a entrada de imagens é suportada, pode enviar capturas de ecrã, diagramas ou páginas digitalizadas juntamente com um prompt de texto e pedir uma resposta escrita. A entrada de ficheiros estende isto a documentos que pretende resumir, dos quais pretende extrair informação ou sobre os quais pretende fazer perguntas.

Estas capacidades apontam para um conjunto bastante amplo de utilizações práticas. Perguntas e respostas sobre documentos longos como PDFs ou relatórios, resumo de reuniões e conversas, extração de campos estruturados a partir de texto não estruturado, classificação e etiquetagem, e redação ou reescrita de conteúdo são todas aplicações razoáveis. A entrada de imagens torna-o utilizável para tarefas como ler gráficos, transcrever texto visível ou descrever o que está numa captura de ecrã. A chamada de ferramentas e as saídas estruturadas significam que pode integrar-se num ciclo de agente ou alimentar um sistema a jusante que espera um esquema fixo, e a opção de pesquisa web permite que um pedido vá buscar contexto externo.

Pode chamá-lo através da API compatível com OpenAI da api14 usando o id de modelo "openai/gpt-4o-mini:batch". Como a superfície é compatível com OpenAI, os SDKs e clientes OpenAI existentes funcionam apenas com uma alteração de base URL e chave. Os parâmetros de pedido que suporta são frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p e web_search_options. Isto cobre controlos de amostragem, execuções determinísticas através de seed, descodificação restringida através de response_format e structured_outputs, e uso de ferramentas através de tools e tool_choice.

Há duas coisas que vale a pena verificar antes de avançar. O corte de conhecimento é 31 de outubro de 2023, por isso qualquer coisa mais recente tem de vir do seu prompt ou de web_search_options. A saída é apenas texto, por isso se precisar de imagens ou áudio gerados, este modelo não é o indicado. E como esta é a variante batch, confirme que o seu perfil de latência corresponde à sua aplicação; se precisar de tempos de resposta interativos, compare com a entrada padrão não batch do mesmo modelo.