OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) es un modelo de generación de texto de OpenAI, que se ofrece aquí en su variante batch. Pertenece a la familia GPT-4o y se posiciona como el modelo pequeño de OpenAI, situándose por debajo del GPT-4o completo. El proveedor lo lanzó el 18 de julio de 2024, y su conocimiento de entrenamiento llega hasta el 31 de octubre de 2023. Si has usado otros modelos de OpenAI, el comportamiento y la interfaz te resultarán familiares.

El modelo acepta texto, imágenes y archivos como entrada, y devuelve únicamente texto. Su ventana de contexto es de 128.000 tokens, lo cual es suficiente para contener documentos largos, conversaciones de varios turnos o una mezcla de prosa e imágenes en una sola solicitud. La salida está limitada a 16.384 tokens por respuesta. Dado que se admite la entrada de imágenes, puedes enviar capturas de pantalla, diagramas o páginas escaneadas junto con un prompt de texto y pedir una respuesta escrita. La entrada de archivos amplía esto a documentos que quieras resumir, de los que quieras extraer información o sobre los que quieras hacer preguntas.

Esas capacidades apuntan a un conjunto bastante amplio de usos prácticos. Preguntas y respuestas sobre documentos de PDF o informes largos, resumen de reuniones e hilos, extracción de campos estructurados a partir de texto no estructurado, clasificación y etiquetado, y redacción o reescritura de contenido son todos encajes razonables. La entrada de imágenes lo hace utilizable para tareas como leer gráficos, transcribir texto visible o describir lo que hay en una captura de pantalla. El llamamiento a herramientas y las salidas estructuradas significan que puede integrarse en un bucle de agente o alimentar a un sistema posterior que espere un esquema fijo, y la opción de búsqueda web permite que una solicitud incorpore contexto externo.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "openai/gpt-4o-mini:batch". Como la superficie es compatible con OpenAI, los SDK y clientes de OpenAI existentes funcionan con solo cambiar la URL base y la clave. Los parámetros de solicitud que admite son frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p y web_search_options. Eso cubre controles de muestreo, ejecuciones deterministas mediante seed, decodificación restringida a través de response_format y structured_outputs, y uso de herramientas mediante tools y tool_choice.

Hay dos cosas que conviene comprobar antes de comprometerte. El corte de conocimiento es el 31 de octubre de 2023, así que cualquier cosa más reciente tiene que venir de tu prompt o de web_search_options. La salida es únicamente texto, así que si necesitas imágenes o audio generados, este modelo no es el indicado. Y como esta es la variante batch, confirma que su perfil de latencia encaja con tu aplicación; si necesitas tiempos de respuesta interactivos, compáralo con la entrada estándar no batch del mismo modelo.