OpenAI: GPT-4o (batch)

OpenAI: GPT-4o (batch) es un modelo de generación de texto de OpenAI, que se ofrece aquí bajo el id de modelo openai/gpt-4o:batch. Pertenece a la familia GPT-4o, donde la "o" significa "omni", y OpenAI lo describe como compatible con entradas de texto e imagen con salidas de texto. La variante batch es el mismo modelo subyacente servido a través de un flujo de trabajo por lotes en lugar de uno interactivo, lo que lo hace adecuado para trabajos que no necesitan una respuesta inmediata.

En cuanto a capacidades, el modelo acepta texto, imágenes y archivos como entrada y devuelve solo texto. Tiene una ventana de contexto de 128.000 tokens y puede producir hasta 16.384 tokens en una sola respuesta. Su fecha de corte de conocimiento es el 31 de octubre de 2023, por lo que cualquier cosa posterior a esa fecha tiene que provenir del prompt o de una herramienta en lugar del propio entrenamiento del modelo. Los parámetros de solicitud admitidos incluyen temperature, top_p, max_tokens, stop, seed, frequency_penalty, presence_penalty, logit_bias, logprobs y top_logprobs, junto con response_format, structured_outputs, tools, tool_choice, prediction y web_search_options.

Esas capacidades apuntan a un conjunto bastante amplio de usos prácticos. Como se pueden pasar imágenes y archivos junto con texto, el modelo sirve para revisión de documentos, extracción de material escaneado o en PDF, y resumen de informes largos que de otro modo superarían una ventana de contexto más pequeña. La ventana de 128.000 tokens también lo hace razonable para analizar bases de código grandes, transcripciones largas o conjuntos de varios documentos en una sola solicitud. El llamamiento a herramientas y las salidas estructuradas lo convierten en candidato para canalizaciones en las que el modelo tiene que devolver JSON legible por máquina o invocar funciones externas, y la ruta batch encaja en trabajos sin conexión como clasificación masiva, etiquetado de contenido o generación de resúmenes en un corpus grande.

Llamarlo a través de api14 funciona igual que cualquier otro endpoint compatible con OpenAI. Envías una solicitud a la ruta de chat completions con el campo model establecido en openai/gpt-4o:batch, y puedes pasar cualquiera de los parámetros enumerados anteriormente en el cuerpo de la solicitud. Como el endpoint sigue el esquema de OpenAI, las bibliotecas cliente y los SDK de OpenAI existentes generalmente funcionan sin modificación, y cambiar entre modelos suele ser cuestión de cambiar el id de modelo.

Una cosa que hay que tener en cuenta es la fecha de corte de conocimiento del 31 de octubre de 2023, lo que significa que las preguntas sobre eventos posteriores necesitan fundamentarse a través del prompt o de web_search_options. La salida es solo texto, por lo que la generación de imágenes queda fuera de alcance. Si tu carga de trabajo necesita una respuesta sincrónica y de baja latencia en lugar de procesamiento por lotes, una variante de GPT-4o que no sea batch sería la opción más natural.