Meta: Llama 3.1 70B Instruct

Meta: Llama 3.1 70B Instruct é um modelo de geração de texto da Meta, parte da família Llama 3.1 que foi lançada em 23 de julho de 2024. É a versão de 70 bilhões de parâmetros, ajustada para seguir instruções, o que significa que foi projetada para responder a prompts e conduzir diálogos em vez de simplesmente continuar texto bruto. A Meta posiciona esta variante instruct como otimizada para casos de uso de diálogo de alta qualidade, e ela fica no meio da linha Llama 3.1 em termos de tamanho.

O modelo aceita texto como entrada e retorna texto como saída, portanto é um modelo de linguagem puro, sem tratamento de imagem, áudio ou vídeo. Sua janela de contexto é de 131.072 tokens, o que é grande o suficiente para conter documentos longos, conversas estendidas ou arquivos de código consideráveis em uma única requisição. O comprimento máximo de saída é de 16.384 tokens, então as respostas podem ser substanciais, mas ficam bem abaixo do limite de entrada. Seu corte de conhecimento é 31 de dezembro de 2023, o que significa que qualquer coisa após essa data está fora do que ele aprendeu durante o treinamento.

Essas características apontam para um conjunto bastante claro de usos práticos. O contexto longo favorece sumarização e resposta a perguntas sobre documentos extensos, revisão de contratos, síntese de pesquisa e chat com múltiplos turnos, onde partes anteriores da conversa precisam permanecer visíveis. O ajuste para instruções o torna uma escolha razoável para assistentes, redação, reescrita, classificação e tarefas de extração. Como o modelo suporta chamada de ferramentas e saídas estruturadas, ele também pode ser usado em pipelines onde o modelo precisa retornar dados em um formato definido ou invocar funções externas, em vez de apenas produzir texto livre.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo meta-llama/llama-3.1-70b-instruct. Como a interface segue o esquema da OpenAI, você pode apontar um cliente OpenAI existente para a URL base da api14 e passar esse id no campo model. Os parâmetros de requisição que ele suporta são frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k e top_p. Isso cobre os controles usuais de amostragem, saída determinística via seed, sequências de parada, e tanto modos de chamada de ferramentas quanto de saída estruturada.

Alguns limites vale a pena ter em mente ao decidir. A saída é limitada a 16.384 tokens, embora a janela de contexto seja muito maior, então tarefas que precisam de respostas únicas muito longas podem exigir divisão ou um modelo diferente. O corte de conhecimento de 31 de dezembro de 2023 significa que eventos recentes não são cobertos, a menos que você os forneça no prompt. E como entrada e saída são apenas texto, qualquer coisa envolvendo imagens ou áudio fica fora do que este modelo pode fazer.