Çerez kullanıyoruz. Çerezler ve tarayıcı depolaması oturumunu açık tutar ve tercihlerini hatırlar. İzin verirsen sitenin nasıl kullanıldığını da ölçeriz. İstediğin zaman . Ayrıntılar için çerez politikamıza bak.
inclusionai/ling-3.0-tinyYukarıdaki fiyatlarla bakiyenden çalışır. Yeni hesaplar ücretsiz kullanımla başlar.
Ayarlar
Ling 3.0 Tiny, inclusionAI tarafından sunulan bir metin modelidir. Toplam 7.9B parametrenin 1.3B aktif parametresine sahip bir mixture-of-experts modelidir. Tasarımı, hızlı yanıt veren ajanları, talimat takibini ve çok turlu konuşmaları hedefler ve model değiştirilebilir akıl yürütme davranışını destekler. Metin kategorisinde yer alır, yani görüntü, ses veya diğer medya yerine dil işleri için tasarlanmıştır.
Model girdi olarak metin alır ve çıktı olarak metin döndürür. Bağlam penceresi 262144 token, maksimum çıktı ise 250000 token'dır; bu, tek bir istek içinde hem çok uzun girdilerin hem de çok uzun üretimlerin mümkün olduğu anlamına gelir. Akıl yürütme açılıp kapatılabilir ve etkinleştirildiğinde akıl yürütme içeriği include_reasoning parametresi aracılığıyla ayrı olarak sunulabilir. Büyük bir bağlam ile görece küçük bir aktif parametre sayısının bu birleşimi, uzun belgelerin yanı sıra gecikme ve verimin önemli olduğu iş yükleri için modeli bir aday haline getirir.
Pratik kullanımlar bu özelliklerden doğar. Hızlı yanıt veren ajanlar ve araç güdümlü iş akışları, talimat takibi ve tools desteğine uygundur. Çok turlu konuşma sistemleri uzun bağlamdan fayda sağlar, çünkü önceki turlar ve referans materyali istemde kalabilir. Uzun belge özetleme, çıkarım ve soru yanıtlama, bağlam penceresi büyük olduğu için uygulanabilir. Yapılandırılmış çıktı görevleri response_format üzerinden çalışır ve sınıflandırma veya puanlama görevleri logprobs ile top_logprobs kullanabilir. Akıl yürütme ağırlıklı istemler, bir görev nihai yanıttan önce adım adım çalışma gerektirdiğinde akıl yürütmeyi etkinleştirerek ele alınabilir.
Modeli, "inclusionai/ling-3.0-tiny" model id'sini kullanarak api14'ün OpenAI uyumlu API'si üzerinden çağırırsınız. Arayüz OpenAI chat completions şeklini izlediği için, mevcut OpenAI SDK'ları ve istemcileri base URL'yi api14'e yönlendirip model id'sini ayarlayarak çalışır. Desteklenen istek parametreleri frequency_penalty, include_reasoning, logprobs, max_tokens, presence_penalty, reasoning, response_format, seed, stop, temperature, tools, top_logprobs ve top_p'dir. Üretimi sınırlamak için max_tokens, üslubu ve tekrarı yönlendirmek için temperature ve ceza parametrelerini, tekrarlanabilir örnekleme için seed ve üretimi seçilen dizilerde bitirmek için stop kullanın. Tools, fonksiyon çağrısını etkinleştirir ve response_format çıktı yapısını kısıtlar.
Başka bir modelin daha iyi uyabileceği durumlar vardır. Bu model yalnızca metinle ilgilenir, bu nedenle görüntü veya ses girdisi ya da çıktısı gerektiren görevler farklı bir model gerektirir. Bu küçük bir varyanttır, bu nedenle bir görev mümkün olan en güçlü akıl yürütmeyi veya bilgiyi gerektiriyorsa aynı ailedeki daha büyük bir model ya da başka bir sağlayıcı daha iyi bir seçim olabilir. Desteklenen parametreler dahilinde basit metin üretimi, ajanlar ve uzun bağlamlı işler için makul bir varsayılandır.
Bu toplulukta henüz konu yok. inclusionAI: Ling 3.0 Tiny hakkında ilk konuyu sen aç.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "inclusionai/ling-3.0-tiny",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
frequency_penaltyinclude_reasoninglogprobsmax_tokenspresence_penaltyreasoningresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_logprobstop_p