Google: Gemma 2 27B

O Google Gemma 2 27B é um modelo de texto aberto da Google, construído a partir da mesma investigação e tecnologia usadas para criar os modelos Gemini. Situa-se na família Gemma 2 e, com 27B parâmetros, é a maior variante dessa linha. O modelo foi lançado pelo fornecedor a 13 de julho de 2024, e o seu limite de conhecimento é 30 de junho de 2024, pelo que qualquer coisa posterior a essa data está fora do que aprendeu durante o treino.

É um modelo de texto para texto. A janela de contexto é de 8192 tokens, e a saída máxima é de 2048 tokens. Essa combinação molda a forma como planeia os prompts: documentos longos, ficheiros de código grandes ou históricos de conversa extensos têm de caber no orçamento de 8192 tokens juntamente com as suas instruções, e a resposta em si está limitada a 2048 tokens. Não existem modalidades de imagem, áudio ou outras aqui, por isso tudo o que envia tem de ser texto simples.

Os usos práticos decorrem desse perfil. Funciona bem para assistentes de chat, resposta a perguntas sobre material que cola no prompt, sumarização de artigos ou relatórios que caibam na janela de contexto, redação e reescrita, tarefas de classificação e extração, e explicação ou geração de código dentro do limite de saída. Como é um modelo ajustado a instruções, responde a descrições diretas de tarefas em vez de precisar de exemplos few shot para cada pedido. O suporte para saídas estruturadas também o torna uma escolha razoável quando precisa que a resposta esteja em conformidade com um esquema, por exemplo extrair campos de tickets de suporte ou descrições de produtos para JSON.

Chama-o através da API compatível com OpenAI da api14 usando o id de modelo "google/gemma-2-27b-it". Como a interface segue a forma das chat completions da OpenAI, pode apontar um cliente OpenAI existente para a api14 e alterar a string do modelo. Os parâmetros de pedido suportados são frequency_penalty, max_tokens, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature e top_p. Na prática, definiria temperature e top_p para controlar a amostragem, usaria max_tokens para limitar a resposta dentro do limite de saída de 2048, aplicaria sequências de stop para terminar a geração de forma limpa, e usaria seed quando quisesse resultados repetíveis. Os parâmetros de penalização ajudam a reduzir frases repetidas, e response_format juntamente com structured_outputs cobre os casos em que a saída tem de seguir uma estrutura definida.

A principal restrição a ponderar é a janela de contexto. Com 8192 tokens é menor do que o que muitos modelos atuais oferecem, por isso cargas de trabalho que dependem de documentos muito longos, repositórios grandes ou conversas de longa duração podem precisar de chunking, retrieval ou um modelo com uma janela maior. O limite de saída de 2048 tokens também exclui respostas únicas muito longas. Se a sua tarefa se enquadra nesses limites e quer um modelo aberto da Google com seguimento de instruções e suporte para saídas estruturadas, o Gemma 2 27B é uma opção simples de testar através da mesma superfície de API que já utiliza.