OpenAI: o3 (batch)

OpenAI o3 (batch) es un modelo de texto de OpenAI, ofrecido aquí bajo el id de modelo openai/o3:batch. Pertenece a la familia o3, que OpenAI describe como un modelo completo y potente en todos los dominios, que establece un nuevo estándar para tareas de matemáticas, ciencia, programación y razonamiento visual, y que también rinde bien en redacción técnica y seguimiento de instrucciones. La variante batch es el mismo modelo subyacente expuesto a través de un endpoint de estilo batch en api14, lo que lo hace adecuado para cargas de trabajo en las que puedes enviar trabajo y recoger resultados en lugar de necesitar cada respuesta en línea.

El modelo acepta entradas de imagen, texto y archivos y devuelve texto. Su ventana de contexto es de 200.000 tokens, y la salida máxima es de 100.000 tokens, por lo que tanto las entradas largas como las generaciones largas son posibles dentro de la misma solicitud. El corte de conocimiento es 2024-06-30, lo que importa cuando tu tarea depende de eventos recientes o material recién publicado. Como acepta imágenes y archivos junto con texto, puede trabajar sobre entradas mixtas como un documento más una pregunta, o una captura de pantalla más una instrucción, sin un modelo de preprocesamiento separado.

Esas capacidades apuntan a un conjunto bastante amplio de usos prácticos. El trabajo con mucho razonamiento, como matemáticas de varios pasos, resolución de problemas científicos y generación o depuración de código, encaja de forma natural, y también el razonamiento visual sobre diagramas, gráficos o capturas de pantalla. La redacción técnica y el seguimiento de instrucciones lo hacen utilizable para documentación estructurada, redacción de especificaciones y tareas en las que necesitas que el modelo se ciña a un formato. El contexto de 200.000 tokens ayuda con informes largos, archivos de código grandes o entradas de varios documentos, y el límite de salida de 100.000 tokens admite generación de formato largo en una sola llamada.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo openai/o3:batch. Los parámetros de solicitud admitidos son include_reasoning, max_tokens, reasoning, response_format, seed, structured_outputs, tool_choice y tools. En la práctica, eso significa que puedes controlar el comportamiento de razonamiento y si el razonamiento se muestra, limitar la longitud de salida con max_tokens, solicitar salida estructurada o de estilo JSON mediante response_format y structured_outputs, hacer que las ejecuciones sean reproducibles con seed, y definir el llamamiento a funciones con tools y tool_choice.

Un límite que vale la pena señalar es el corte de conocimiento de 2024-06-30, así que si tu aplicación necesita información actual tendrás que proporcionarla en el prompt o mediante tools. Si tu tarea es puramente de texto y no se beneficia del razonamiento, la entrada de imagen o de archivos, un modelo de texto más ligero puede ser una mejor opción.