OpenAI: o3 (batch)

OpenAI o3 (batch) é um modelo de texto da OpenAI, oferecido aqui sob o id de modelo openai/o3:batch. Ele pertence à família o3, que a OpenAI descreve como um modelo bem equilibrado e poderoso em diversos domínios, estabelecendo um novo padrão para tarefas de matemática, ciência, programação e raciocínio visual, e também com bom desempenho em redação técnica e seguimento de instruções. A variante batch é o mesmo modelo subjacente disponibilizado através de um endpoint no estilo batch em api14, o que o torna adequado para cargas de trabalho em que você pode submeter trabalho e recolher resultados em vez de precisar de cada resposta em linha.

O modelo aceita entradas de imagem, texto e ficheiro e devolve texto. A sua janela de contexto é de 200.000 tokens, e a saída máxima é de 100.000 tokens, pelo que entradas longas e gerações longas são ambas possíveis no mesmo pedido. O corte de conhecimento é 2024-06-30, o que importa quando a sua tarefa depende de eventos recentes ou material recém-publicado. Como aceita imagens e ficheiros juntamente com texto, pode trabalhar sobre entradas mistas, como um documento mais uma pergunta, ou uma captura de ecrã mais uma instrução, sem um modelo de pré-processamento separado.

Essas capacidades apontam para um conjunto bastante amplo de utilizações práticas. Trabalho com forte componente de raciocínio, como matemática com vários passos, resolução de problemas científicos e geração ou depuração de código, é um encaixe natural, e o mesmo se aplica ao raciocínio visual sobre diagramas, gráficos ou capturas de ecrã. A redação técnica e o seguimento de instruções tornam-no utilizável para documentação estruturada, elaboração de especificações e tarefas em que precisa que o modelo cumpra um formato. O contexto de 200.000 tokens ajuda com relatórios longos, ficheiros de código grandes ou entradas com vários documentos, e o limite de saída de 100.000 tokens suporta geração de forma longa numa única chamada.

Pode chamá-lo através da API compatível com OpenAI do api14 usando o id de modelo openai/o3:batch. Os parâmetros de pedido suportados são include_reasoning, max_tokens, reasoning, response_format, seed, structured_outputs, tool_choice e tools. Na prática, isso significa que pode controlar o comportamento de raciocínio e se o raciocínio é exposto, limitar o comprimento da saída com max_tokens, pedir saída estruturada ou em estilo JSON através de response_format e structured_outputs, tornar as execuções reproduzíveis com seed, e definir chamadas de funções com tools e tool_choice.

Um limite que vale a pena notar é o corte de conhecimento de 2024-06-30, por isso, se a sua aplicação precisa de informação atual, terá de a fornecer no prompt ou através de ferramentas. Se a sua tarefa for puramente textual e não beneficiar de raciocínio, imagem ou entrada de ficheiro, um modelo de texto mais leve pode ser uma melhor opção.