Google: Gemma 2 27B

Google Gemma 2 27B es un modelo de texto abierto de Google, construido con la misma investigación y tecnología utilizadas para crear los modelos Gemini. Se sitúa en la familia Gemma 2 y, con 27B parámetros, es la variante más grande de esa línea. El modelo fue lanzado por el proveedor el 13 de julio de 2024, y su fecha de corte de conocimiento es el 30 de junio de 2024, por lo que cualquier cosa posterior a esa fecha queda fuera de lo que aprendió durante el entrenamiento.

Es un modelo de texto de entrada, texto de salida. La ventana de contexto es de 8192 tokens, y la salida máxima es de 2048 tokens. Esa combinación determina cómo planificas los prompts: los documentos largos, los archivos de código grandes o los historiales de chat extensos deben caber dentro del presupuesto de 8192 tokens junto con tus instrucciones, y la respuesta en sí está limitada a 2048 tokens. Aquí no hay modalidades de imagen, audio u otras entradas, por lo que todo lo que envíes debe ser texto plano.

Los usos prácticos se derivan de ese perfil. Funciona bien para asistentes de chat, respuesta a preguntas sobre material que pegas en el prompt, resumen de artículos o informes que caben en la ventana de contexto, redacción y reescritura, tareas de clasificación y extracción, y explicación o generación de código dentro del límite de salida. Como es un modelo ajustado a instrucciones, responde a descripciones directas de tareas en lugar de necesitar ejemplos few shot para cada solicitud. El soporte de salidas estructuradas también lo convierte en una opción razonable cuando necesitas que la respuesta se ajuste a un esquema, por ejemplo extraer campos de tickets de soporte o descripciones de productos a JSON.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "google/gemma-2-27b-it". Como la interfaz sigue la forma de chat completions de OpenAI, puedes apuntar un cliente OpenAI existente a api14 y cambiar la cadena del modelo. Los parámetros de solicitud admitidos son frequency_penalty, max_tokens, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature y top_p. En la práctica, establecerías temperature y top_p para controlar el muestreo, usarías max_tokens para acotar la respuesta dentro del límite de salida de 2048, aplicarías secuencias stop para terminar la generación de forma limpia, y usarías seed cuando quieras resultados repetibles. Los parámetros de penalización ayudan a reducir la fraseología repetida, y response_format junto con structured_outputs cubre los casos en los que la salida debe seguir una estructura definida.

La principal restricción a sopesar es la ventana de contexto. Con 8192 tokens es más pequeña que la que ofrecen muchos modelos actuales, por lo que las cargas de trabajo que dependen de documentos muy largos, repositorios grandes o conversaciones prolongadas pueden necesitar fragmentación, recuperación o un modelo con una ventana más grande. El límite de salida de 2048 tokens también descarta respuestas únicas muy largas. Si tu tarea cabe dentro de esos límites y quieres un modelo abierto de Google con seguimiento de instrucciones y soporte de salida estructurada, Gemma 2 27B es una opción sencilla para probar a través de la misma superficie de API que ya usas.