OpenAI: GPT-4

GPT-4 es un modelo de texto de OpenAI, listado en api14 bajo el id de modelo openai/gpt-4. Se sitúa en la categoría de texto y el proveedor lo describe como el modelo de lenguaje a gran escala insignia de OpenAI, construido para resolver problemas difíciles con mayor precisión que modelos anteriores mediante un conocimiento general más amplio y un razonamiento avanzado. La fecha de lanzamiento del proveedor es 2023-05-28, y el corte de conocimiento del modelo es 2021-09-30.

En api14 el modelo acepta entrada de texto y devuelve salida de texto. Tiene una longitud de contexto de 8191 tokens y una salida máxima de 4096 tokens. Los parámetros de solicitud admitidos incluyen temperature, top_p, frequency_penalty, presence_penalty, stop, seed, logit_bias, logprobs, top_logprobs, max_tokens, max_completion_tokens, response_format, structured_outputs, tools y tool_choice. Esa combinación cubre controles de muestreo, comportamiento casi determinista mediante seed, inspección a nivel de token a través de logprobs, y llamada a funciones mediante los parámetros tools.

Los usos prácticos se derivan de esas capacidades. El razonamiento general y la respuesta a preguntas con alta carga de conocimiento encajan con las fortalezas declaradas del modelo. Los prompts más largos son viables dentro del contexto de 8191 tokens, por lo que el resumen de documentos, la redacción de varios párrafos, la extracción y las tareas de reescritura son razonables, siempre que la entrada más la salida solicitada permanezcan dentro de la ventana. Como se admiten tools y tool_choice, el modelo puede usarse como el paso de razonamiento en un agente o flujo de trabajo que llama a funciones externas. Las salidas estructuradas y response_format ayudan cuando se necesitan resultados legibles por máquina en lugar de prosa libre, y logprobs o top_logprobs son útiles cuando se quiere inspeccionar cuán seguro estaba el modelo en cada token, por ejemplo en pipelines de clasificación o evaluación.

Llamarlo a través de api14 funciona igual que cualquier otro endpoint compatible con OpenAI. Envía una solicitud de chat completions a la pasarela con el campo model establecido en openai/gpt-4, y pasa los parámetros elegidos en el cuerpo de la solicitud. Como la API es compatible con OpenAI, las bibliotecas de cliente de OpenAI existentes y el código normalmente pueden apuntarse a api14 cambiando la URL base y la clave de API, sin otros cambios en la forma de la solicitud. Puedes establecer temperature y top_p para el muestreo, max_tokens o max_completion_tokens para limitar la respuesta, secuencias stop para terminar la generación antes de tiempo, y seed cuando quieras salidas más repetibles. Para el uso de herramientas, proporciona tools y opcionalmente tool_choice; para resultados estructurados, usa response_format o structured_outputs.

Vale la pena tener en cuenta algunos límites. La ventana de contexto de 8191 tokens es modesta según los estándares actuales, por lo que documentos muy largos o conversaciones largas de varios turnos pueden necesitar fragmentación o recorte. El corte de conocimiento de 2021-09-30 significa que el modelo no tiene conocimiento de eventos posteriores a esa fecha, por lo que cualquier cosa sensible al tiempo debe proporcionarse en el prompt o recuperarse mediante herramientas. La entrada es solo texto, por lo que las imágenes y el audio quedan fuera de alcance aquí. Si tu tarea depende de un contexto mucho mayor, conocimiento más reciente o entrada que no sea texto, es probable que otro modelo en api14 encaje mejor.