Usamos cookies. Las cookies y el almacenamiento del navegador mantienen tu sesión iniciada y recuerdan tus preferencias. Con tu permiso, también medimos cómo se usa el sitio. Puedes en cualquier momento. Consulta nuestra política de cookies.
ricursiveai/ripple-65b-previewSe ejecuta con tu saldo a los precios indicados arriba. Las cuentas nuevas empiezan con uso gratuito.
Configuración
Ripple-65B-Preview es un modelo de texto de ricursiveAI, lanzado como una compilación de vista previa. Es un modelo de 65B parámetros servido en BF16, y se sitúa en la categoría de texto, por lo que está orientado al trabajo con lenguaje en lugar de imágenes, audio u otras modalidades. La etiqueta de vista previa indica que esta es una versión temprana del modelo en lugar de un lanzamiento final y definitivo.
El modelo toma texto como entrada y devuelve texto como salida, con una ventana de contexto de 1.048.576 tokens. Eso es suficiente espacio para contener entradas muy grandes en una sola solicitud, como documentos largos, archivos de código extensos o historiales de conversación prolongados, sin dividirlos entre llamadas. La salida máxima es de 131.072 tokens, por lo que las respuestas también pueden ser largas. La llamada nativa a herramientas es parte del propio modelo, lo que significa que puede decidir cuándo llamar a funciones que usted defina e incorporar los resultados a su respuesta.
Esas capacidades apuntan a algunos patrones prácticos. El contexto grande es adecuado para tareas en las que el modelo necesita razonar sobre un corpus completo a la vez: revisar un contrato largo, resumir una base de código grande o responder preguntas sobre un conjunto amplio de documentos sin un paso de recuperación separado. La llamada nativa a herramientas encaja en flujos de trabajo de tipo agente, donde el modelo consulta una API, una base de datos o un servicio interno y luego continúa a partir de los datos devueltos. El límite de salida largo ayuda cuando necesita un informe completo, una refactorización grande o un archivo completo en lugar de una respuesta breve.
Puede llamarlo a través de la API compatible con OpenAI de api14 usando el id de modelo "ricursiveai/ripple-65b-preview". Como la interfaz sigue el formato de OpenAI, los SDK y clientes de OpenAI existentes funcionan con un cambio de URL base e id de modelo. Los parámetros de solicitud que admite son logprobs, max_tokens, response_format, seed, temperature, tool_choice, tools, top_logprobs y top_p. Eso cubre el control de muestreo mediante temperature y top_p, ejecuciones deterministas mediante seed, salida estructurada mediante response_format, y llamada a funciones mediante tools y tool_choice. Logprobs y top_logprobs están disponibles si necesita información de confianza a nivel de token.
Dado que esta es una versión de vista previa, vale la pena probarla con sus propias cargas de trabajo antes de comprometerse a usarla en producción, y comprobar si ha aparecido una compilación más reciente. Si su tarea es pequeña o sensible a la latencia, un modelo de 65B puede ser más de lo que necesita, y un modelo más pequeño podría servirle mejor. Si su trabajo no se basa en texto, este modelo no es el adecuado, ya que solo acepta y produce texto.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "ricursiveai/ripple-65b-preview",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
logprobsmax_tokensresponse_formatseedtemperaturetool_choicetoolstop_logprobstop_pEsta comunidad aún no tiene temas. Abre el primero sobre Ricursive: Ripple 65B Preview.