Meta: Llama 3.1 70B Instruct contra TheDrummer: UnslopNemo 12B
Uma comparação lado a lado entre Meta: Llama 3.1 70B Instruct (US$ 2,52 / 1M fragmentos (≈ R$ 13,78)) e TheDrummer: UnslopNemo 12B (US$ 1,40 / 1M fragmentos (≈ R$ 7,66)) com preços em USD e recursos atuais do catálogo do api14. Os dois funcionam pela mesma API compatível com OpenAI.
Especificações
| Meta: Llama 3.1 70B Instruct | TheDrummer: UnslopNemo 12B | |
|---|---|---|
| Provedor | Meta | TheDrummer |
| Entrada | US$ 2,52 / 1M fragmentos (≈ R$ 13,78) | US$ 1,40 / 1M fragmentos (≈ R$ 7,66) |
| Saída | US$ 2,52 / 1M fragmentos (≈ R$ 13,78) | US$ 1,40 / 1M fragmentos (≈ R$ 7,66) |
| Janela de contexto | 131.072 | 1.024.000 |
| Saída máxima | 8.192 | 819.200 |
| Entrada | text | text |
| Saída | text | text |
| chamada de ferramentas | ||
| Saída estruturada | ||
| Controle de raciocínio | ||
| Adicionado em | 23 de jul. de 2024 | 8 de nov. de 2024 |
Principais diferenças
- TheDrummer: UnslopNemo 12B é 44% mais barato nos tokens de entrada.
- TheDrummer: UnslopNemo 12B é 44% mais barato nos tokens de saída.
- TheDrummer: UnslopNemo 12B lê 7.8× mais contexto (1.024.000 tokens).
- Só o TheDrummer: UnslopNemo 12B suporta saída JSON estruturada.
- Uma requisição com 1.000 tokens de entrada e 500 de saída custa US$ 0,00378 com Meta: Llama 3.1 70B Instruct e US$ 0,00210 com TheDrummer: UnslopNemo 12B.
Em detalhe
Meta: Llama 3.1 70B Instruct é um modelo de texto da Meta, lançado em 2024-07-23. TheDrummer: UnslopNemo 12B é um modelo de texto da TheDrummer, lançado em 2024-11-08. Ambos são servidos através da api14 como modelos de chat completion, e ambos recebem texto e retornam texto, portanto nenhum dos dois lida com imagens ou áudio. A nomenclatura já diz a maior parte do que você precisa saber de relance: um é um modelo de instrução de uso geral de 70B de um grande laboratório, o outro é um fine tune comunitário de 12B voltado para um estilo específico de saída.
A diferença técnica mais clara é o comprimento de contexto. UnslopNemo 12B aceita até 1.024.000 tokens, enquanto Llama 3.1 70B Instruct aceita até 131.072 tokens. Se o seu prompt ou conjunto de documentos recuperados for muito grande, o UnslopNemo é o que vai caber sem chunking. A outra diferença significativa é o ferramental. Llama 3.1 70B Instruct suporta tools e tool_choice, então ele pode conduzir function calling e loops no estilo agente diretamente. UnslopNemo 12B não lista esses parâmetros, então ele não é o modelo a procurar quando você precisa que o próprio modelo emita chamadas de ferramenta estruturadas. Em preço os dois são praticamente iguais, então o custo não é o fator decisivo aqui. Ambos suportam structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed e stop, então amostragem e modelagem de saída funcionam da mesma forma em qualquer um dos lados.
Para o trabalho do dia a dia, escolha com base no que a tarefa realmente precisa. Se você está construindo um agente, um pipeline de recuperação que precisa chamar funções, ou qualquer coisa que precise que o modelo decida qual ferramenta invocar, Llama 3.1 70B Instruct é a escolha natural porque é o único dos dois com suporte a ferramentas. Se você está fazendo sumarização de documentos longos, colocando um grande código base ou transcrição em uma única requisição, ou trabalhando em escrita criativa e conversacional onde você quer um modelo mais leve com uma janela muito grande, UnslopNemo 12B é o encaixe melhor. Para simples seguimento de instruções, classificação, extração ou reescrita onde a entrada cabe confortavelmente em 131.072 tokens e nenhuma ferramenta está envolvida, qualquer um dos modelos fará o trabalho, e você pode escolher pelo estilo de saída em vez da capacidade.
Chamar qualquer um dos modelos através da api14 funciona da mesma forma, porque a API é compatível com OpenAI. Você aponta seu cliente para a URL base da api14, envia uma requisição normal de chat completions com seu array de messages, e define o campo model. Para usar Llama 3.1 70B Instruct, defina model como meta-llama/llama-3.1-70b-instruct. Para usar UnslopNemo 12B, defina model como thedrummer/unslopnemo-12b. Todo o resto no corpo da requisição, incluindo temperature, max_tokens, stop e structured_outputs, permanece como está. Alternar entre os dois é uma mudança de uma linha, então você pode manter ambos atrás de um valor de configuração e rotear por requisição sem reescrever sua integração.
Troque com uma string
Os dois modelos usam o mesmo endpoint e o mesmo formato de requisição. Mude o valor de model de "meta-llama/llama-3.1-70b-instruct" para "thedrummer/unslopnemo-12b", prompts, streaming e ferramentas continuam funcionando.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "thedrummer/unslopnemo-12b",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Mais comparações
- LiquidAI: LFM3-1.7B contra Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B contra Crouton Alpha
- LiquidAI: LFM3-1.7B contra Tencent: Hy4
- LiquidAI: LFM3-1.7B contra Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview contra Crouton Alpha
- Ricursive: Ripple 65B Preview contra Tencent: Hy4
- Ricursive: Ripple 65B Preview contra Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha contra Tencent: Hy4