์ฟ ํค๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์ฟ ํค์ ๋ธ๋ผ์ฐ์ ์ ์ฅ์๋ ๋ก๊ทธ์ธ ์ํ๋ฅผ ์ ์งํ๊ณ ํ๊ฒฝ์ค์ ์ ๊ธฐ์ตํฉ๋๋ค. ๋์ํ์๋ฉด ์ฌ์ดํธ ์ด์ฉ ๋ฐฉ์๋ ์ธก์ ํฉ๋๋ค. ์ธ์ ๋ ์ง ํ ์ ์์ต๋๋ค. ์์ธํ ๋ด์ฉ์ ์ฟ ํค ์ ์ฑ ์ ์ฐธ๊ณ ํ์ธ์.
Jared Palmer: Kev 4B
jaredpalmer/kev-4b์ง๊ธ Jared Palmer: Kev 4B ์ฌ์ฉํด ๋ณด๊ธฐ
์ ๊ฐ๊ฒฉ์ผ๋ก ์์ก์์ ์ฐจ๊ฐ๋ฉ๋๋ค. ์ ๊ณ์ ์ ๋ฌด๋ฃ ์ฌ์ฉ๋์ผ๋ก ์์ํฉ๋๋ค.
๊ฒฐ๊ณผ๊ฐ ์ฌ๊ธฐ์ ํ์๋ฉ๋๋ค.
์ค์
Jared Palmer: Kev 4B ํ๋์ ๋ณด๊ธฐ
- ์ ๋ ฅ ๊ฐ๊ฒฉ์ด ํ๋จ ๋ชจ๋ธ 25๊ฐ์ ์ค์๊ฐ๊ณผ ๋น์ทํฉ๋๋ค.
- ์ผ๋ฐ์ ์ธ ์์ฒญ(์ ๋ ฅ 1,000 / ์ถ๋ ฅ 500 ํ ํฐ)์ ๋น์ฉ์ ์ฝ US$0.000147์ ๋๋ค.
Jared Palmer: Kev 4B ์๊ฐ
Jared Palmer: Kev 4B๋ Jared Palmer์ ์ํ ์คํ ์จ์ดํธ ๊ฒฐ์ ๋ชจ๋ธ์ ๋๋ค. Qwen3.5-4B-Base ์์ LoRA ์ด๋ํฐ์ ํฌ์ธํฐ ํค๋๋ก ๊ตฌ์ถ๋์์ผ๋ฉฐ, TypeSafe์ ๋ชจ๋ธ๊ณผ ๋์ผํ /v1/systemone ๊ณ์ฝ์ ํตํด ์ ๊ณต๋ฉ๋๋ค. ์ฃผ์ ์นดํ ๊ณ ๋ฆฌ๋ decisions์ด๋ฉฐ, ๊ทธ๊ฒ์ด ์ด ๋ชจ๋ธ์ด ๋ฑ๋ก๋ ์ ์ผํ ์นดํ ๊ณ ๋ฆฌ์ด๋ฏ๋ก, ๋ฒ์ฉ ์ด์์คํดํธ๊ฐ ์๋๋ผ ํนํ๋ ๋ชจ๋ธ์ ๋๋ค.
์ด ๋ชจ๋ธ์ ํ ์คํธ๋ฅผ ์ ๋ ฅ์ผ๋ก ๋ฐ๊ณ ๊ฒฐ์ ์ ์ถ๋ ฅ์ผ๋ก ์์ฑํฉ๋๋ค. ์ปจํ ์คํธ ๊ธธ์ด๋ 8192 ํ ํฐ์ด๊ณ , ์ต๋ ์ถ๋ ฅ์ 7372 ํ ํฐ์ ๋๋ค. ์ถ๋ ฅ ์์์ด ์์ ํ์ ํ ์คํธ๊ฐ ์๋๋ผ ๊ฒฐ์ ์ด๋ฏ๋ก, ์ด ๋ชจ๋ธ์ด ์ฑํ ์คํ์ผ ๋ต๋ณ์ด๋ ๊ธด ์์ ํ ๋ต๋ณ ๋์ ๊ฒฐ์ ์ ๋ฐํํ ๊ฒ์ด๋ผ๊ณ ์์ํด์ผ ํฉ๋๋ค. ์ ๋ ฅ ์ชฝ์ ํ ์คํธ ์ ์ฉ์ด๋ฏ๋ก, ๊ณํํ ์ด๋ฏธ์ง, ์ค๋์ค ๋๋ ํ์ผ ์ ๋ ฅ์ ์์ต๋๋ค.
์ค์ฉ์ ์ธ ์ฌ์ฉ ์ฌ๋ก๋ ๊ทธ ํํ์์ ๋ฐ๋ก ๋ฐ๋ผ์ต๋๋ค. Kev 4B๋ ํ ์คํธ ์กฐ๊ฐ์ ๊ฒฐ์ ์ ๋งคํํด์ผ ํ๋ ์ํฌํ๋ก, ์๋ฅผ ๋ค์ด ์์ฒญ ๋ผ์ฐํ , ์ต์ ๊ฐ ์ ํ, ์์ ๋ฉ์์ง ๋ถ๋ฅ ๋๋ ํ์ดํ๋ผ์ธ์ ๋จ๊ณ ๊ฒ์ดํ ์ ์ ํฉํฉ๋๋ค. ์ํ ๋ชจ๋ธ์ด๋ฏ๋ก, ์ฐ๋ฌธ์ ์์ฑํ๋ ๋ํ ๋ฒ์ฉ ๋ชจ๋ธ๋ณด๋ค ์์คํ ์ ๋๋จธ์ง ๋ถ๋ถ ๊ฐ๊น์ด์์ ๊ฒฐ์ ์ ๋ด๋ฆฌ๊ธฐ๋ฅผ ์ํ๋ ์ํฉ์ ์ด์ธ๋ฆฝ๋๋ค. ์์ ์ด ๊ฐ๋ฐฉํ ์์ฑ, ์์ฝ ๋๋ ๋ํ๋ผ๋ฉด ๋ฒ์ฉ ํ ์คํธ ์ถ๋ ฅ ๋ชจ๋ธ์ด ๋ ์ ๋ง์ต๋๋ค. Kev 4B๋ ๊ทธ๋ฐ ์ข ๋ฅ์ ์ถ๋ ฅ์ ์์ฑํ๋๋ก ๋ง๋ค์ด์ง์ง ์์๊ธฐ ๋๋ฌธ์ ๋๋ค.
๋ชจ๋ธ id "jaredpalmer/kev-4b"๋ฅผ ์ฌ์ฉํด api14์ OpenAI ํธํ API๋ฅผ ํตํด ํธ์ถํฉ๋๋ค. API๊ฐ OpenAI ํธํ ๋ฐฉ์์ด๋ฏ๋ก, ๊ธฐ์กด OpenAI ํด๋ผ์ด์ธํธ๋ฅผ api14 ๊ธฐ๋ณธ URL๋ก ์ง์ ํ๊ณ ์์ฒญ์ ํด๋น ๋ชจ๋ธ id๋ฅผ ์ ๋ฌํ๋ฉด ๋ฉ๋๋ค. ์ด ๋ชจ๋ธ์ ์ง์๋๋ ํ๋ผ๋ฏธํฐ๋ฅผ ๋์ดํ์ง ์์ผ๋ฏ๋ก, temperature, top_p ๋๋ ์ด์ ์ ์ฌํ ์กฐ์ ์ต์ ์ด ํ์ฉ๋๊ฑฐ๋ ํจ๊ณผ๊ฐ ์๋ค๊ณ ๊ธฐ๋ํด์๋ ์ ๋ฉ๋๋ค. ๊ฒฐ์ ์ ๋ด๋ฆฌ๊ธธ ์ํ๋ ํ ์คํธ๋ฅผ ๋ณด๋ด๊ณ ์๋ต์์ ๊ฒฐ์ ์ ์ฝ์ผ๋ฉด ๋ฉ๋๋ค.
์ ํํ ๋ ์ ํ์ ์ผ๋์ ๋์ธ์. ์ปจํ ์คํธ ์๋์ฐ๋ 8192 ํ ํฐ์ผ๋ก ์์ ํธ์ด๋ฏ๋ก, ๋งค์ฐ ๊ธด ๋ฌธ์๋ ๋ชจ๋ธ์ ๋๋ฌํ๊ธฐ ์ ์ ์๋ผ๋ด๊ฑฐ๋ ๋ถํ ํด์ผ ํฉ๋๋ค. 7372 ํ ํฐ์ ์ถ๋ ฅ ์ํ๋ ์ปจํ ์คํธ ๊ธธ์ด๋ณด๋ค ๋ฎ์ผ๋ฉฐ, ์ถ๋ ฅ์ด ๊ฒฐ์ ์ด๋ฏ๋ก ๊ธด ํ์์ ๋ต๋ณ์ ์ด ๋ชจ๋ธ์ ์ฉ๋๊ฐ ์๋๋๋ค. ํฐ ์ปจํ ์คํธ, ํ๋ถํ ํ๋ผ๋ฏธํฐ ์ ์ด ๋๋ ์์ ํ ์ถ๋ ฅ์ด ํ์ํ ์์ ์๋ api14์ ๋ค๋ฅธ ๋ชจ๋ธ์ด ๋ณดํต ๋ ๋์ ์ ํ์ ๋๋ค.
Jared Palmer: Kev 4B API ํธ์ถ ๋ฐฉ๋ฒ
- ๋์๋ณด๋์์ API ํค๋ฅผ ๋ง๋์ธ์.
- ์ฌ์ฉํ๋ ์ธ์ด์ ๊ณต์ openai SDK๋ฅผ ์ค์นํ์ธ์.
- baseURL์ https://api14.com/api/v1๋ก, model์ "jaredpalmer/kev-4b"๋ก ์ค์ ํ์ธ์.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/decisions", { body: {
"model": "jaredpalmer/kev-4b",
"state": "Customer: I was charged twice for my order and want my money back.",
"questions": {
"team": {
"type": "choice",
"instructions": "Which team should handle this message?",
"criteria": {
"billing": "Payments, refunds, invoices",
"support": "Product questions and bugs",
"sales": "Pricing and new purchases"
}
},
"urgent": {
"type": "noul",
"instructions": "Does this need a reply today?",
"criteria": {
"true": "Money, outage or legal risk",
"false": "Can wait"
}
}
}
} });
console.log(result.answers);
์ฌ์
- ์ปจํ ์คํธ ๊ธธ์ด
- 8,192
- ์ต๋ ์ถ๋ ฅ
- 7,372
- ์ ๋ ฅ
- text
- ์ถ๋ ฅ
- decisions
api14 ์์ฒญ ์ ยท ์ต๊ทผ 7์ผ
Jared Palmer: Kev 4B: ์์ฃผ ๋ฌป๋ ์ง๋ฌธ
- Jared Palmer: Kev 4B API ๋น์ฉ์ ์ผ๋ง์ธ๊ฐ์?
- Jared Palmer: Kev 4B์ ๊ฐ๊ฒฉ์ ์ ๋ ฅ US$0.15 / 100๋ง ํ ํฐ์ ๋๋ค. ์ฑ๊ณตํ ์์ฒญ์ ๋ํด์๋ง USD ์์ก์์ ์ฐจ๊ฐ๋๋ฉฐ, ์คํจํ ์์ฒญ์ ๋ฌด๋ฃ์ ๋๋ค.
- Jared Palmer: Kev 4B์ ์ปจํ ์คํธ ์๋์ฐ๋ ์ผ๋ง์ธ๊ฐ์?
- Jared Palmer: Kev 4B๋(์) ์์ฒญ๋น ์ต๋ 8,192 ํ ํฐ์ ์ฝ์ต๋๋ค, ํ๋กฌํํธ, ๋ํ ๊ธฐ๋ก, ๋ฌธ์๋ฅผ ๋ชจ๋ ํฉ์น ์์ ๋๋ค. ์๋ต๋น ์ต๋ 7,372๊ฐ์ ์ถ๋ ฅ ํ ํฐ์ ์์ฑํฉ๋๋ค.
- Jared Palmer: Kev 4B๋(์) ๋ฌด์์ ํ ์ ์๋์?
- Jared Palmer: Kev 4B๋(์) text ์ ๋ ฅ์ ๋ฐ์ decisions ์ถ๋ ฅ์ ๋ฐํํฉ๋๋ค.
- ์ฝ๋์์ Jared Palmer: Kev 4B๋ฅผ(์) ์ด๋ป๊ฒ ํธ์ถํ๋์?
- ์ด๋ค OpenAI SDK๋ base URL์ https://api14.com/api/v1๋ก ์ง์ ํ๊ณ model์ "jaredpalmer/kev-4b"๋ก ์ค์ ํ์ธ์, ๋ค๋ฅธ ์ฝ๋ ๋ณ๊ฒฝ์ ํ์ ์์ต๋๋ค. ์ด ํ์ด์ง์ ์ฝ๋ ํจ๋์์ ๋ฐ๋ก ์ธ ์ ์๋ ์์ ๋ฅผ ๋ณต์ฌํ์ธ์.
- Jared Palmer: Kev 4B์ ๋์์ ๋ฌด์์ธ๊ฐ์?
- ๋น์ทํ ๊ฐ๊ฒฉ๋์ ํ๋จ ๋ชจ๋ธ: TypeSafe: Jev 1.14, Microsoft: Microsoft-Decision-1, Together: Tev1 4B Experimental. ๋ชจ๋ ๊ฐ์ API ํค๋ก ์คํ๋๋ฏ๋ก ๋ฌธ์์ด ํ๋๋ง ๋ฐ๊พธ๋ฉด ์ ํ๋ฉ๋๋ค.
Jared Palmer: Kev 4B ์ปค๋ฎค๋ํฐ
์ ํ ํฝ์ด ์ปค๋ฎค๋ํฐ์๋ ์์ง ํ ํฝ์ด ์์ต๋๋ค. Jared Palmer: Kev 4B์ ๋ํ ์ฒซ ํ ํฝ์ ์ด์ด ๋ณด์ธ์.