Meta: Llama 3.1 8B Instruct

Meta: O Llama 3.1 8B Instruct é um modelo de texto ajustado para instruções da Meta, parte da família Llama 3.1 lançada em julho de 2024. O tamanho 8B fica na extremidade menor dessa família, o que o torna uma opção padrão razoável quando você quer um assistente de uso geral capaz, sem o peso de um modelo muito maior. É um modelo apenas de texto, por isso funciona bem para chat, redação, extração e tarefas de linguagem semelhantes, em vez de qualquer coisa que envolva imagens ou áudio.

O modelo recebe texto e devolve texto. Suporta uma janela de contexto de 131.072 tokens, que é suficientemente grande para conter documentos longos, conversas prolongadas ou ficheiros de código consideráveis num único pedido. A saída máxima é de 117.964 tokens, pelo que gerações longas são possíveis dentro dessa janela. O seu limite de conhecimento é 2023-12-31, o que significa que eventos e informações posteriores a essa data não fazem parte dos seus dados de treino. Quando a precisão depende de factos recentes, deve fornecer o contexto relevante você mesmo em vez de confiar na memória do modelo.

Essas características apontam para alguns usos práticos. Resumir e responder a perguntas sobre entradas longas encaixa bem na grande janela de contexto. O seguimento de instruções torna-o adequado para assistentes de chat, reescrita, classificação e extração de dados estruturados a partir de texto desorganizado. Como aceita ferramentas e saídas estruturadas, também pode servir como o passo de raciocínio num pipeline que chama funções ou devolve JSON. O tamanho 8B mantém a latência e o uso de recursos comparativamente baixos, o que ajuda quando está a executar muitos pedidos ou a prototipar uma ideia antes de optar por um modelo maior.

Pode chamá-lo através da API compatível com OpenAI da api14 usando o id de modelo meta-llama/llama-3.1-8b-instruct. Aponte o seu cliente OpenAI existente para o URL base da api14 e passe esse id no campo model. O modelo aceita frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs e top_p. Isso cobre os controlos de amostragem habituais, além de chamada de ferramentas, saídas estruturadas e execuções reproduzíveis através de seed.

Uma coisa a ponderar é o limite de conhecimento e o tamanho do modelo. Se a sua tarefa precisa de factos posteriores a 2023-12-31, planeie fornecê-los no prompt ou através de recuperação. Se precisa de entrada de imagem ou áudio, este modelo não a aceita, e um modelo multimodal seria mais adequado. Para o raciocínio mais difícil ou a qualidade de geração mais exigente, um modelo maior da mesma família pode servir-lhe melhor, enquanto esta versão 8B continua a ser uma escolha sólida para trabalho de grande volume e menor complexidade.