OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k es un modelo de texto de OpenAI, publicado por el proveedor el 28 de agosto de 2023. Pertenece a la familia GPT-3.5 y es la variante de contexto largo del GPT-3.5 Turbo estándar, y ofrece aproximadamente cuatro veces la longitud de contexto de ese modelo. Es un modelo de lenguaje de propósito general en lugar de uno especializado, y está dirigido a desarrolladores que necesitan más espacio en una sola solicitud de lo que proporciona el GPT-3.5 Turbo base.

El modelo acepta texto como entrada y devuelve texto como salida. Su ventana de contexto es de 16.385 tokens, y la salida máxima es de 4.096 tokens. El corte de conocimiento es el 30 de septiembre de 2021, por lo que cualquier cosa posterior a esa fecha queda fuera de sus datos de entrenamiento. El contexto más amplio es el principal diferenciador aquí: OpenAI lo describe como compatible con aproximadamente 20 páginas de texto en una sola solicitud, lo que lo hace adecuado para prompts que contienen mucho material de origen en lugar de una instrucción breve.

Esa capacidad determina los casos de uso prácticos. Resumir documentos largos, responder preguntas sobre un corpus pegado, extraer campos estructurados de informes extensos y conversaciones de varios turnos que necesitan retener una gran cantidad de diálogo previo encajan dentro de la ventana de 16.385 tokens. Debido a que el modelo admite herramientas y salidas estructuradas, también se puede usar para flujos de trabajo estilo function calling en los que el modelo selecciona una herramienta y devuelve argumentos, y para respuestas que deben ajustarse a un esquema JSON mediante response_format. Logprobs y top_logprobs están disponibles, lo que ayuda cuando necesitas inspeccionar la confianza a nivel de token del modelo en lugar de solo el texto final.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "openai/gpt-3.5-turbo-16k". Debido a que el endpoint sigue la forma de chat completions de OpenAI, los SDK y clientes de OpenAI existentes funcionan con solo un cambio de URL base y clave. Los parámetros de solicitud admitidos son frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs y top_p. Seed es útil cuando quieres un muestreo repetible, y las secuencias de stop te permiten acotar la generación.

Merece la pena sopesar dos restricciones antes de comprometerte. El corte de conocimiento de septiembre de 2021 significa que el modelo no tiene conocimiento de eventos, bibliotecas o API posteriores a menos que proporciones ese contexto tú mismo, y el límite de salida de 4.096 tokens limita cuánto puede producir en una sola respuesta aunque la ventana de entrada sea grande. Si tu tarea necesita conocimiento más reciente, una salida más larga o entrada de imágenes, este modelo no lo cubre, y un modelo diferente en api14 sería la mejor opción.