Usamos cookies. Las cookies y el almacenamiento del navegador mantienen tu sesión iniciada y recuerdan tus preferencias. Con tu permiso, también medimos cómo se usa el sitio. Puedes en cualquier momento. Consulta nuestra política de cookies.
inclusionai/ling-3.0-tinySe ejecuta con tu saldo a los precios indicados arriba. Las cuentas nuevas empiezan con uso gratuito.
Ling 3.0 Tiny es un modelo de texto de inclusionAI. Es un modelo de mezcla de expertos con 1.3B parámetros activos de 7.9B en total. El diseño apunta a agentes responsivos, seguimiento de instrucciones y conversaciones multiturno, y el modelo admite comportamiento de razonamiento conmutable. Se sitúa en la categoría de texto, por lo que está destinado a trabajo de lenguaje en lugar de imagen, audio u otros medios.
El modelo toma texto como entrada y devuelve texto como salida. Su ventana de contexto es de 262144 tokens, y la salida máxima es de 250000 tokens, lo que significa que tanto entradas muy largas como generaciones muy largas son posibles dentro de una sola solicitud. El razonamiento se puede activar o desactivar, y cuando está habilitado el contenido de razonamiento se puede mostrar por separado a través del parámetro include_reasoning. Esta combinación de un contexto grande y un recuento de parámetros activos comparativamente pequeño lo convierte en un candidato para cargas de trabajo donde la latencia y el rendimiento importan junto con documentos largos.
Los usos prácticos se derivan de esos rasgos. Los agentes responsivos y los flujos de trabajo impulsados por herramientas encajan con el seguimiento de instrucciones y el soporte de tools. Los sistemas de conversación multiturno se benefician del contexto largo, ya que los turnos previos y el material de referencia pueden permanecer en el prompt. La summarización de documentos largos, la extracción y la respuesta a preguntas son viables porque la ventana de contexto es grande. Las tareas de salida estructurada funcionan a través de response_format, y las tareas de clasificación o puntuación pueden usar logprobs y top_logprobs. Los prompts con mucho razonamiento se pueden manejar habilitando el razonamiento cuando una tarea necesita trabajo paso a paso antes de la respuesta final.
Se llama al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "inclusionai/ling-3.0-tiny". Debido a que la interfaz sigue la forma de chat completions de OpenAI, los SDKs y clientes de OpenAI existentes funcionan apuntando la URL base a api14 y estableciendo el id de modelo. Los parámetros de solicitud admitidos son frequency_penalty, include_reasoning, logprobs, max_tokens, presence_penalty, reasoning, response_format, seed, stop, temperature, tools, top_logprobs y top_p. Use max_tokens para acotar la generación, temperature y los parámetros de penalización para dirigir el estilo y la repetición, seed para un muestreo reproducible, y stop para terminar la generación en secuencias elegidas. Tools habilita el llamado a funciones, y response_format restringe la estructura de salida.
Hay casos en los que otro modelo puede encajar mejor. Este modelo maneja solo texto, por lo que las tareas que requieren entrada o salida de imagen o audio necesitan un modelo diferente. Es una variante tiny, así que si una tarea exige el razonamiento o conocimiento más fuerte posible, un modelo más grande de la misma familia o de otro proveedor puede ser la mejor opción. Para la generación de texto sencilla, agentes y trabajo de contexto largo dentro de los parámetros admitidos, es un valor predeterminado razonable.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "inclusionai/ling-3.0-tiny",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
frequency_penaltyinclude_reasoninglogprobsmax_tokenspresence_penaltyreasoningresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_logprobstop_pEsta comunidad aún no tiene temas. Abre el primero sobre inclusionAI: Ling 3.0 Tiny.
Configuración