OpenAI: GPT-4 Turbo (batch)

GPT-4 Turbo (batch) es un modelo de generación de texto de OpenAI, que se ofrece en api14 bajo el id de modelo openai/gpt-4-turbo:batch. Es la variante batch de la línea GPT-4 Turbo de OpenAI, la versión que añadió capacidades de visión. api14 enruta las solicitudes hacia él a través de la misma interfaz compatible con OpenAI que usas para otros modelos en la plataforma, así que no se necesita ningún SDK ni trabajo de integración por separado.

El modelo acepta entrada de texto e imágenes y produce salida de texto, lo que significa que puedes mezclar prompts e imágenes en una sola solicitud cuando eso ayude. Admite una ventana de contexto de 128.000 tokens, y las respuestas pueden alcanzar hasta 4.096 tokens. Sus datos de entrenamiento llegan hasta diciembre de 2023. Las solicitudes de visión funcionan junto con el modo JSON y el function calling, así que la salida estructurada y el uso de herramientas no están restringidos a llamadas solo de texto.

Esas capacidades apuntan a unos cuantos patrones prácticos. Documentos largos, bases de código o transcripciones caben cómodamente en la ventana de 128.000 tokens, así que el resumen, la extracción y la respuesta a preguntas sobre entradas grandes son viables sin un troceado pesado. Como se aceptan imágenes como entrada, el análisis de capturas de pantalla, la interpretación de diagramas y el parseo de documentos a partir de páginas escaneadas también entran dentro del alcance. El function calling y las salidas estructuradas lo hacen una opción razonable para agentes, flujos de trabajo que usan herramientas y pipelines que necesitan respuestas legibles por máquina, mientras que el modo JSON mantiene predecible el parseo posterior.

Para llamarlo en api14, envía una solicitud al endpoint de chat completions con el campo model establecido en openai/gpt-4-turbo:batch, exactamente como lo harías con la propia API de OpenAI. El modelo admite frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs y top_p. Eso cubre controles de muestreo, determinismo mediante seed, límites de tokens, secuencias de parada, formatos de salida estructurada y definiciones de herramientas, así que la mayoría de los cuerpos de solicitud estándar al estilo OpenAI funcionan sin cambios.

Merece la pena señalar dos restricciones antes de comprometerte. La salida está limitada a 4.096 tokens por respuesta, así que las tareas que requieren completados únicos muy largos pueden necesitar dividirse en varias llamadas, y el corte de conocimiento de diciembre de 2023 significa que el modelo no tiene conciencia de nada posterior a esa fecha a menos que se lo proporciones en el prompt. Si tu carga de trabajo necesita conocimiento más reciente, presupuestos de salida mayores o un perfil de coste diferente, revisa los otros modelos disponibles en api14 antes de decidirte por este.