Meta: Llama 3.2 3B Instruct

Meta: O Llama 3.2 3B Instruct é um modelo de texto da Meta, identificado na api14 como meta-llama/llama-3.2-3b-instruct. É um modelo de linguagem de grande escala multilíngue com 3 bilhões de parâmetros, construído sobre uma arquitetura transformer e ajustado para seguir instruções. A Meta o lançou em 25 de setembro de 2024, e seu corte de conhecimento é 31 de dezembro de 2023. O modelo está na categoria de texto, portanto é voltado para trabalho com linguagem, e não para imagem, áudio ou outras modalidades.

No lado da entrada, ele aceita texto e retorna texto. A janela de contexto é de 131.072 tokens, o que é grande para um modelo desse tamanho e permite passar documentos longos, transcrições ou históricos de múltiplos turnos em uma única requisição. A saída máxima é de 117.964 tokens, então as respostas também podem ser longas. A Meta descreve o modelo como otimizado para tarefas de processamento de linguagem natural, como geração de diálogo, raciocínio e sumarização, e seu treinamento multilíngue significa que ele consegue lidar com prompts em mais de um idioma.

Essas capacidades apontam para um conjunto bastante claro de usos. A sumarização se encaixa naturalmente: relatórios longos, notas de reunião ou rascunhos de artigos podem entrar e uma versão mais curta sai. A geração de diálogo o torna adequado para assistentes de chat, bots de suporte e interfaces conversacionais, nas quais o ajuste por instruções mantém as respostas dentro da tarefa. Tarefas de raciocínio, como resolver um problema enunciado no prompt ou extrair respostas estruturadas de texto não estruturado, também estão no escopo. Como o modelo é pequeno, é uma escolha razoável quando você quer baixa latência ou quer executar muitas requisições, e o contexto longo significa que você não precisa dividir documentos agressivamente antes de enviá-los.

Você o chama pela API compatível com OpenAI da api14 usando o id de modelo meta-llama/llama-3.2-3b-instruct. Como a interface segue o formato OpenAI, clientes e SDKs existentes geralmente funcionam apenas com a mudança da URL base e do id de modelo. Os parâmetros de requisição que ele suporta são frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs e top_p. Isso cobre os controles usuais de amostragem (temperature, top_p, top_k, min_p), penalidades por repetição, execuções determinísticas via seed, sequências de parada, limites de tokens e inspeção de probabilidade de log por meio de logprobs e top_logprobs. Saídas estruturadas também são suportadas, o que ajuda quando você precisa que a resposta esteja em conformidade com um esquema.

O principal ponto a ponderar é o tamanho do modelo. Com 3 bilhões de parâmetros, ele é um modelo compacto, então para tarefas que exigem raciocínio profundo ou amplo conhecimento de mundo, um modelo maior pode atendê-lo melhor. Ele também é apenas de texto, então qualquer coisa envolvendo outros tipos de entrada está fora do escopo aqui. Se sua carga de trabalho é sumarização, diálogo ou raciocínio moderado e você valoriza uma janela de contexto longa, este modelo é uma opção prática.