OpenAI: GPT-3.5 Turbo

GPT-3.5 Turbo es un modelo de texto de OpenAI, identificado en api14 como openai/gpt-3.5-turbo. OpenAI lo describe como su modelo más rápido, y fue lanzado por el proveedor el 2023-05-28. Se sitúa en la categoría de texto y está construido para entender y generar lenguaje natural o código, con optimización para chat y tareas de completado tradicionales. Si estás eligiendo un modelo OpenAI de propósito general para trabajo de texto cotidiano, este es el valor predeterminado de larga data sobre el que se construyó gran parte del ecosistema.

El modelo acepta texto como entrada y devuelve texto como salida, así que no hay manejo de imágenes, audio o archivos que planificar. Su ventana de contexto es de 16.385 tokens, y la salida máxima es de 4.096 tokens, lo que significa que las entradas largas son posibles pero la respuesta en sí está limitada muy por debajo del tamaño del contexto. El corte de conocimiento es 2021-09-30, así que cualquier cosa posterior a esa fecha tiene que venir del prompt en lugar de los datos de entrenamiento del modelo. Los parámetros de solicitud admitidos incluyen temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format, structured_outputs, tools y tool_choice.

Esas capacidades se corresponden con un conjunto bastante amplio de trabajos prácticos. Asistentes de chat, redacción y reescritura, resumen de documentos que caben dentro de la ventana de contexto, clasificación y extracción hacia una forma fija, y generación o explicación de código son todos encajes razonables, ya que el modelo maneja tanto lenguaje natural como código. Debido a que se admiten tools y tool_choice, puedes definir esquemas de funciones y dejar que el modelo decida cuándo llamarlas, lo que se adapta a flujos de trabajo estilo agente y canalizaciones de recuperación donde el modelo necesita solicitar datos. El parámetro seed ayuda cuando quieres un muestreo repetible, y response_format junto con structured_outputs son útiles cuando un analizador posterior espera una estructura predecible en lugar de prosa libre.

Llamarlo a través de api14 funciona de la misma manera que cualquier otro endpoint compatible con OpenAI. Envía tu solicitud a la ruta de chat completions con el id de modelo openai/gpt-3.5-turbo, y usa los parámetros listados arriba en el cuerpo de la solicitud según sea necesario. Si ya tienes código escrito contra el SDK de OpenAI o un cliente compatible, apuntar la URL base a api14 y cambiar el id de modelo normalmente es el único cambio requerido.

Vale la pena tener en cuenta dos restricciones antes de comprometerte. El corte de conocimiento de 2021-09-30 significa que el modelo no sabrá sobre eventos, bibliotecas o APIs recientes a menos que proporciones ese contexto, y el techo de salida de 4.096 tokens limita cuánto puede producir en una sola respuesta. Para entradas muy grandes, generaciones muy largas o tareas que dependen de conocimiento reciente, otro modelo en api14 puede servirte mejor.