Meta: Llama 3.3 70B Instruct

Meta: O Llama 3.3 70B Instruct é um modelo de geração de texto da Meta, lançado em 6 de dezembro de 2024. Ele pertence à família Llama 3.3, um modelo de linguagem grande multilíngue que a Meta pré-treinou e ajustou por instruções com 70B parâmetros. A variante ajustada por instruções é somente texto, ou seja, foi projetada para tarefas orientadas por prompt em vez de entrada multimodal.

O modelo recebe texto e retorna texto, com uma janela de contexto de 131.072 tokens e uma saída máxima de 16.384 tokens. Seu corte de conhecimento é 31 de dezembro de 2023, portanto qualquer coisa após essa data está fora do que ele aprendeu durante o treinamento. Como é ajustado por instruções, ele segue direções em um prompt de forma razoavelmente direta, o que o torna adequado para tarefas em que você descreve o que deseja em vez de fornecer exemplos.

Essas capacidades apontam para um conjunto bastante amplo de usos práticos. Trabalho com contexto longo, como resumir ou consultar documentos extensos, se encaixa na janela de 131.072 tokens, e o teto de saída de 16.384 tokens suporta respostas que vão bem além de uma resposta curta. Geração multilíngue e assistentes no estilo de chat são adequações naturais dado o treinamento multilíngue do modelo. O seguimento de instruções também o torna uma escolha razoável para extração, reescrita, classificação e tarefas de transformação semelhantes em que a entrada é texto e a saída é texto.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "meta-llama/llama-3.3-70b-instruct". O endpoint aceita o formato usual de requisição no estilo de chat, e o modelo suporta um amplo conjunto de parâmetros: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs e top_p. Chamada de ferramentas e saídas estruturadas estão ambas disponíveis, portanto chamada de funções e respostas restringidas por esquema são opções em vez de soluções alternativas.

Dois limites vale a pena ter em mente ao escolher este modelo. Ele aceita apenas texto, portanto imagens, áudio ou outras entradas não textuais estão fora de escopo, e seu conhecimento termina no final de 2023, o que importa para perguntas sobre eventos recentes a menos que você forneça o contexto por conta própria. Se sua tarefa depende dessas coisas, um modelo com a modalidade de entrada relevante ou um corte mais recente se encaixaria melhor.