Kami menggunakan cookie. Cookie dan penyimpanan browser menjaga Anda tetap masuk dan mengingat preferensi Anda. Dengan izin Anda, kami juga mengukur cara situs digunakan. Anda dapat kapan saja. Lihat kebijakan cookie kami.
inclusionai/ling-3.0-tinyBerjalan dengan saldo Anda sesuai harga di atas. Akun baru mendapat pemakaian gratis.
Ling 3.0 Tiny adalah model teks dari inclusionAI. Ini adalah model mixture-of-experts dengan 1.3B parameter aktif dari total 7.9B. Desainnya menyasar agen yang responsif, instruction following, dan percakapan multi-turn, dan model ini mendukung perilaku penalaran yang dapat dialihkan. Model ini berada di kategori teks, jadi ditujukan untuk pekerjaan bahasa bukan gambar, audio atau media lainnya.
Model ini menerima teks sebagai input dan mengembalikan teks sebagai output. Jendela konteksnya adalah 262144 token, dan output maksimum adalah 250000 token, yang berarti input sangat panjang dan generasi sangat panjang keduanya dimungkinkan dalam satu permintaan. Penalaran dapat dinyalakan atau dimatikan, dan saat diaktifkan konten penalaran dapat ditampilkan secara terpisah melalui parameter include_reasoning. Kombinasi konteks besar dan jumlah parameter aktif yang relatif kecil menjadikannya kandidat untuk beban kerja di mana latensi dan throughput penting bersamaan dengan dokumen panjang.
Penggunaan praktis mengikuti sifat-sifat tersebut. Agen responsif dan alur kerja berbasis alat cocok dengan instruction following dan dukungan tools. Sistem percakapan multi-turn diuntungkan oleh konteks panjang, karena giliran sebelumnya dan materi referensi dapat tetap berada di prompt. Peringkasan dokumen panjang, ekstraksi dan tanya jawab layak dilakukan karena jendela konteksnya besar. Tugas output terstruktur bekerja melalui response_format, dan tugas klasifikasi atau penilaian dapat menggunakan logprobs dan top_logprobs. Prompt yang berat penalaran dapat ditangani dengan mengaktifkan reasoning di mana suatu tugas membutuhkan pekerjaan langkah demi langkah sebelum jawaban akhir.
Anda memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "inclusionai/ling-3.0-tiny". Karena antarmukanya mengikuti bentuk chat completions OpenAI, SDK dan klien OpenAI yang ada berfungsi dengan mengarahkan base URL ke api14 dan menetapkan model id. Parameter permintaan yang didukung adalah frequency_penalty, include_reasoning, logprobs, max_tokens, presence_penalty, reasoning, response_format, seed, stop, temperature, tools, top_logprobs dan top_p. Gunakan max_tokens untuk membatasi generasi, temperature dan parameter penalti untuk mengarahkan gaya dan pengulangan, seed untuk pengambilan sampel yang dapat direproduksi, dan stop untuk mengakhiri generasi pada urutan yang dipilih. Tools mengaktifkan pemanggilan fungsi, dan response_format membatasi struktur output.
Ada kasus di mana model lain mungkin lebih cocok. Model ini hanya menangani teks, jadi tugas yang memerlukan input atau output gambar atau audio membutuhkan model yang berbeda. Ini adalah varian tiny, jadi jika suatu tugas menuntut penalaran atau pengetahuan sekuat mungkin, model yang lebih besar dalam keluarga yang sama atau penyedia lain mungkin menjadi pilihan yang lebih baik. Untuk generasi teks yang lugas, agen dan pekerjaan konteks panjang dalam parameter yang didukung, ini adalah default yang wajar.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "inclusionai/ling-3.0-tiny",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
frequency_penaltyinclude_reasoninglogprobsmax_tokenspresence_penaltyreasoningresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_logprobstop_pKomunitas ini belum memiliki topik. Buka topik pertama tentang inclusionAI: Ling 3.0 Tiny.
Pengaturan