Meta: Llama 3.2 1B Instruct

Meta: O Llama 3.2 1B Instruct é um modelo de geração de texto da Meta, parte da família Llama 3.2. É um modelo ajustado para instruções com 1 bilhão de parâmetros, um tamanho deliberadamente pequeno que a Meta posiciona em torno de executar tarefas de linguagem natural com eficiência. A Meta o lançou em 25 de setembro de 2024, e seu corte de conhecimento é 31 de dezembro de 2023, então qualquer coisa que aconteceu depois dessa data está fora do que o modelo aprendeu durante o treinamento.

O modelo trabalha apenas com texto, tanto na entrada quanto na saída. Ele aceita um prompt e retorna texto gerado, com uma janela de contexto de 60.000 tokens e uma saída máxima de 54.000 tokens. Essa combinação oferece um espaço de trabalho bastante amplo para um modelo desse tamanho, suficiente para acomodar documentos longos ou conversas estendidas em uma única requisição. A Meta descreve seu foco como sumarização, diálogo e análise de texto multilíngue, o que reflete o tipo de tarefa que o ajuste para instruções visa atender.

Essas capacidades apontam para um conjunto prático de usos. A sumarização é um encaixe natural: forneça um artigo, um relatório ou uma thread e peça uma versão mais curta. O diálogo abrange assistentes no estilo chat, perguntas e respostas e fluxos conversacionais simples em que o modelo precisa seguir instruções e manter um tom consistente. A análise de texto multilíngue significa classificação, extração ou transformação leve de texto em vários idiomas. Como o modelo é pequeno, ele também se adequa a trabalhos de alto volume e baixa complexidade, em que você quer respostas rápidas para prompts diretos em vez de raciocínio profundo.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "meta-llama/llama-3.2-1b-instruct". Como a interface segue o formato OpenAI, bibliotecas de cliente OpenAI existentes e formatos de requisição funcionam com apenas o id de modelo e a URL base alterados. Os parâmetros de requisição suportados são frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, temperature, top_k e top_p. Isso cobre os controles usuais de amostragem, além de seed para saídas reproduzíveis e repetition_penalty para conter repetições em gerações mais longas.

O principal ponto a ponderar é a escala. Um modelo de 1 bilhão de parâmetros é construído para eficiência, não para o raciocínio mais difícil ou a escrita de formato longo mais sutil. Se sua tarefa exige lógica complexa de múltiplas etapas, conhecimento profundo de domínio ou seguimento de instruções altamente confiável em prompts ambíguos, um modelo maior da família Llama ou de outro provedor geralmente lhe servirá melhor. Se sua tarefa é sumarização, diálogo ou tratamento de texto multilíngue em volume, este modelo é um padrão razoável para testar primeiro.