OpenAI: GPT-4o-mini (2024-07-18)

GPT-4o-mini (2024-07-18) es un modelo de generación de texto de OpenAI, lanzado el 18 de julio de 2024. Se sitúa en la línea de modelos pequeños de OpenAI, posicionado por el proveedor como su modelo pequeño más avanzado y el sucesor de GPT-4 Omni en ese nivel. El id de modelo versionado fija la instantánea a 2024-07-18, por lo que el comportamiento se mantiene consistente entre llamadas en lugar de cambiar con un alias flotante.

El modelo acepta texto, imágenes y archivos como entrada y devuelve únicamente texto. Tiene una ventana de contexto de 128.000 tokens y puede producir hasta 16.384 tokens de salida en una sola respuesta. Su fecha de corte de conocimiento es el 31 de octubre de 2023, por lo que cualquier cosa posterior a esa fecha tiene que provenir del prompt, de los archivos que proporciones o de una herramienta de búsqueda. Dado que se admite la entrada de imágenes, puedes pasar capturas de pantalla, páginas escaneadas o diagramas junto con instrucciones de texto y obtener una respuesta de texto.

Esas capacidades se adaptan a una variedad de tareas cotidianas de desarrollo. La entrada de documentos y archivos funciona bien para resumir, extraer y responder preguntas sobre contratos, informes o PDFs, mientras que la entrada de imágenes cubre la lectura de gráficos, recibos, capturas de pantalla de interfaces y texto fotografiado. El contexto de 128k te permite enviar transcripciones largas, bases de código o conjuntos de varios documentos sin dividirlos primero. El tool calling y las salidas estructuradas lo convierten en una opción razonable para agentes, enrutamiento de funciones y pipelines que necesitan JSON con la forma de un esquema, y los parámetros seed, temperature y de penalización te dan control sobre cuán determinista o variada es la salida.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "openai/gpt-4o-mini-2024-07-18". Como la interfaz sigue la forma de chat completions de OpenAI, los SDKs y clientes de OpenAI existentes funcionan con un cambio de URL base. Los parámetros de solicitud que admite son frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p y web_search_options. Eso cubre controles de muestreo, límites de tokens, secuencias de parada, inspección de probabilidad logarítmica, salida JSON y restringida por esquema, definiciones de herramientas y selección forzada de herramientas, y opciones de búsqueda web.

Merece la pena señalar dos restricciones antes de comprometerte. La salida es únicamente texto, así que si necesitas imágenes, audio o embeddings generados, este modelo no es el adecuado. La fecha de corte de conocimiento del 31 de octubre de 2023 significa que las preguntas sensibles al tiempo necesitan recuperación, entrada de archivos u opciones de búsqueda web en lugar de confiar en el propio conocimiento del modelo. Y el techo de salida de 16.384 tokens limita cuánto puede durar una sola respuesta, lo que importa para tareas de generación de formato largo.