์ฟ ํค๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์ฟ ํค์ ๋ธ๋ผ์ฐ์ ์ ์ฅ์๋ ๋ก๊ทธ์ธ ์ํ๋ฅผ ์ ์งํ๊ณ ํ๊ฒฝ์ค์ ์ ๊ธฐ์ตํฉ๋๋ค. ๋์ํ์๋ฉด ์ฌ์ดํธ ์ด์ฉ ๋ฐฉ์๋ ์ธก์ ํฉ๋๋ค. ์ธ์ ๋ ์ง ํ ์ ์์ต๋๋ค. ์์ธํ ๋ด์ฉ์ ์ฟ ํค ์ ์ฑ ์ ์ฐธ๊ณ ํ์ธ์.
Baseten: Mammoth 1 (free)
baseten/mammoth-1:free์ง๊ธ Baseten: Mammoth 1 (free) ์ฌ์ฉํด ๋ณด๊ธฐ
์ ๊ฐ๊ฒฉ์ผ๋ก ์์ก์์ ์ฐจ๊ฐ๋ฉ๋๋ค. ์ ๊ณ์ ์ ๋ฌด๋ฃ ์ฌ์ฉ๋์ผ๋ก ์์ํฉ๋๋ค.
๊ฒฐ๊ณผ๊ฐ ์ฌ๊ธฐ์ ํ์๋ฉ๋๋ค.
์ค์
Baseten: Mammoth 1 (free) ์๊ฐ
Baseten: Mammoth 1 (free)์ Baseten์ ๊ฒฐ์ ๋ชจ๋ธ๋ก, ๋ชจ๋ธ id baseten/mammoth-1:free๋ก ๊ฒ์๋์์ต๋๋ค. Baseten์ ์ฐ๊ตฌํ์ธ Base Labs์์ ๋์์ผ๋ฉฐ Qwen3.5-27B๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๊ตฌ์ถ๋์์ต๋๋ค. ์ฃผ์ ์นดํ ๊ณ ๋ฆฌ๋ decisions์ด๋ฉฐ, ์ด ๋จ์ผ ์นดํ ๊ณ ๋ฆฌ๊ฐ ๋ชจ๋ธ์ ์ฉ๋๋ฅผ ์ค๋ช ํฉ๋๋ค. ์ฆ, ๊ฐ๋ฐฉํ ์ฐ๋ฌธ์ ์์ฑํ๋ ๋์ ์ฃผ์ด์ง ์ํ์ ๋ํ ๊ตฌ์กฐํ๋ ์ง๋ฌธ์ ๋ตํ๋๋ก ์ค๊ณ๋์์ต๋๋ค.
์ด ๋ชจ๋ธ์ ํ ์คํธ๋ฅผ ์ ๋ ฅ์ผ๋ก ๋ฐ๊ณ ๊ฒฐ์ ์ ์ถ๋ ฅ์ผ๋ก ๋ฐํํฉ๋๋ค. ์ ๊ณต์ ์ค๋ช ์ ์ ๋ ฅ์ ์ํ(state)๋ก ๊ท์ ํ๋ฉฐ, ์ด๋ ํ ์คํธ ๋๋ JSON์ผ ์ ์๊ณ ํ์ ์ด ์ง์ ๋ ์ง๋ฌธ๊ณผ ํจ๊ป ์ ๊ณต๋ฉ๋๋ค. ์ง์๋๋ ์ง๋ฌธ ์ ํ์ yes/no, multiple choice, ordinal์ ๋๋ค. ์ปจํ ์คํธ ์๋์ฐ๋ 16,384 ํ ํฐ์ด๊ณ ์ต๋ ์ถ๋ ฅ์ 14,745 ํ ํฐ์ ๋๋ค. OpenAI ํธํ ํธ์ถ์ ๊ธฐ๋ณธ ์ฌํญ ์ธ์ ์ง์๋๋ ์์ฒญ ํ๋ผ๋ฏธํฐ๋ ๋์ด๋์ด ์์ง ์์ผ๋ฏ๋ก, ๋ชจ๋ธ์ ์ํ๋ง์ด๋ ๋๊ตฌ ์ต์ ์ด ์๋๋ผ ํ๋กฌํํธ ๋ด์ฉ์ ํตํด ๊ตฌ์ฑ๋ฉ๋๋ค.
์ค์ฉ์ ์ธ ์ฌ์ฉ์ ๊ทธ ํํ์์ ์ง์ ๋ฐ๋ผ์ต๋๋ค. ๋ ์ฝ๋, ๊ตฌ์ฑ ๋๋ ์ถ์ถ๋ ํ๋ ์งํฉ๊ณผ ๊ฐ์ JSON ์ํ๋ฅผ ์ ๋ฌํ๊ณ yes/no ์ง๋ฌธ์ ํ์ฌ ์ด์ง ๊ฒฐ์ ์ ์ป์ ์ ์์ต๋๋ค. Multiple choice ์ง๋ฌธ์ ๋ต์ด ๊ณ ์ ๋ ์ต์ ์งํฉ ์ค ํ๋์ฌ์ผ ํ๋ ๋ผ์ฐํ ์ด๋ ๋ถ๋ฅ์ ์ ํฉํฉ๋๋ค. Ordinal ์ง๋ฌธ์ ์ฌ๊ฐ๋๋ ์ฐ์ ์์ ์์ค์ฒ๋ผ ๋ต์ด ์ฒ๋ ์์ ์๋ ๊ฒฝ์ฐ์ ๋ง์ต๋๋ค. ์ํ๊ฐ ์ผ๋ฐ ํ ์คํธ์ผ ์ ์์ผ๋ฏ๋ก, ๊ฐ์ ๋ชจ๋ธ์ด ๊ตฌ์ , ์ง์ ํฐ์ผ ๋๋ ๋ก๊ทธ ๋ฐ์ท๋ฅผ ํ๋จํ ์๋ ์์ต๋๋ค. 16,384 ํ ํฐ ์ปจํ ์คํธ๋ ํ ๋ฒ์ ํธ์ถ๋ก ๋ณด๋ผ ์ ์๋ ์ํ์ ์๊ณผ ์ง๋ฌธ์ ์์ ์ํ์ ์ค์ ํฉ๋๋ค.
api14๋ฅผ ํตํด ํธ์ถํ๋ ค๋ฉด ๋ชจ๋ธ id baseten/mammoth-1:free์ ํจ๊ป OpenAI ํธํ chat completions ์๋ํฌ์ธํธ๋ฅผ ์ฌ์ฉํ์ธ์. ์ํ์ ํ์ ์ด ์ง์ ๋ ์ง๋ฌธ์ ๋ฉ์์ง ๋ด์ฉ์ผ๋ก ๋ณด๋ด๊ณ ์๋ต์์ ๊ฒฐ์ ์ ์ฝ์ผ์ธ์. ์ง์๋๋ ๊ฒ์ผ๋ก ๋์ด๋ ์ถ๊ฐ ์์ฒญ ํ๋ผ๋ฏธํฐ๋ ์์ผ๋ฏ๋ก, ์์ฒญ์ ํ์ค ํ๋๋ก ์ ์งํ๊ณ ๊ฒฐ์ ๋ก์ง์ ํ๋กฌํํธ ์์ฒด์ ๋ฃ์ผ์ธ์. ํด๋ผ์ด์ธํธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ parameters ๊ฐ์ฒด๋ฅผ ๊ธฐ๋ํ๋ค๋ฉด, ๋น์ ๋๋ ๊ฒ์ด ์์ ํ ์ ํ์ ๋๋ค.
๋ช ์ฌํด์ผ ํ ์ฃผ์ ์ ์ฝ์ 16,384 ํ ํฐ์ ์ปจํ ์คํธ ์๋์ฐ์ด๋ฉฐ, ์ง๋ฌธ๊ณผ ํจ๊ป ๊ธด ๋ฌธ์๋ฅผ ํฌํจํด์ผ ํ๋ ๊ฒฝ์ฐ ์ด๋ ๋๋ํ์ง ์์ต๋๋ค. ์ถ๋ ฅ ์์์ ๊ฒฐ์ ์ด๋ฏ๋ก, ์์ฑ๋ ์ฐ๋ฌธ, ์์ฝ ๋๋ ์ฝ๋๊ฐ ํ์ํ ๋ ์ ํํ ๋ชจ๋ธ์ด ์๋๋๋ค. ์์ ์ด ์ํ์ ๋ํ ํ์ ์ง์ ์ง๋ฌธ์ ๋ตํ๋ ๊ฒ์ด ์๋๋ผ ๊ฐ๋ฐฉํ ์์ฑ์ด๋ ์ผ๋ฐ ์ฑํ ์ด๋ผ๋ฉด, ๋ค๋ฅธ ๋ชจ๋ธ์ด ๋ ์ ํฉํ ๊ฒ์ ๋๋ค.
Baseten: Mammoth 1 (free) API ํธ์ถ ๋ฐฉ๋ฒ
- ๋์๋ณด๋์์ API ํค๋ฅผ ๋ง๋์ธ์.
- ์ฌ์ฉํ๋ ์ธ์ด์ ๊ณต์ openai SDK๋ฅผ ์ค์นํ์ธ์.
- baseURL์ https://api14.com/api/v1๋ก, model์ "baseten/mammoth-1:free"๋ก ์ค์ ํ์ธ์.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/decisions", { body: {
"model": "baseten/mammoth-1:free",
"state": "Customer: I was charged twice for my order and want my money back.",
"questions": {
"team": {
"type": "choice",
"instructions": "Which team should handle this message?",
"criteria": {
"billing": "Payments, refunds, invoices",
"support": "Product questions and bugs",
"sales": "Pricing and new purchases"
}
},
"urgent": {
"type": "noul",
"instructions": "Does this need a reply today?",
"criteria": {
"true": "Money, outage or legal risk",
"false": "Can wait"
}
}
}
} });
console.log(result.answers);
์ฌ์
- ์ปจํ ์คํธ ๊ธธ์ด
- 16,384
- ์ต๋ ์ถ๋ ฅ
- 14,745
- ์ ๋ ฅ
- text
- ์ถ๋ ฅ
- decisions
api14 ์์ฒญ ์ ยท ์ต๊ทผ 7์ผ
Baseten: Mammoth 1 (free): ์์ฃผ ๋ฌป๋ ์ง๋ฌธ
- Baseten: Mammoth 1 (free) API ๋น์ฉ์ ์ผ๋ง์ธ๊ฐ์?
- Baseten: Mammoth 1 (free)๋(์) ๋ฌด๋ฃ๋ก ํธ์ถํ ์ ์์ต๋๋ค(ํ ํฐ๋น $0). ๋ฌด๋ฃ ๋ฒ์ ์ ์ ์คํธ๋ฆผ ์์ฒญ ํ๋๊ฐ ๋ ์๊ฒฉํ๋ฏ๋ก ํ ์คํธ๋ ์๋ ์์ ์ ์ฌ์ฉํ์ธ์.
- Baseten: Mammoth 1 (free)์ ์ปจํ ์คํธ ์๋์ฐ๋ ์ผ๋ง์ธ๊ฐ์?
- Baseten: Mammoth 1 (free)๋(์) ์์ฒญ๋น ์ต๋ 16,384 ํ ํฐ์ ์ฝ์ต๋๋ค, ํ๋กฌํํธ, ๋ํ ๊ธฐ๋ก, ๋ฌธ์๋ฅผ ๋ชจ๋ ํฉ์น ์์ ๋๋ค. ์๋ต๋น ์ต๋ 14,745๊ฐ์ ์ถ๋ ฅ ํ ํฐ์ ์์ฑํฉ๋๋ค.
- Baseten: Mammoth 1 (free)๋(์) ๋ฌด์์ ํ ์ ์๋์?
- Baseten: Mammoth 1 (free)๋(์) text ์ ๋ ฅ์ ๋ฐ์ decisions ์ถ๋ ฅ์ ๋ฐํํฉ๋๋ค.
- ์ฝ๋์์ Baseten: Mammoth 1 (free)๋ฅผ(์) ์ด๋ป๊ฒ ํธ์ถํ๋์?
- ์ด๋ค OpenAI SDK๋ base URL์ https://api14.com/api/v1๋ก ์ง์ ํ๊ณ model์ "baseten/mammoth-1:free"๋ก ์ค์ ํ์ธ์, ๋ค๋ฅธ ์ฝ๋ ๋ณ๊ฒฝ์ ํ์ ์์ต๋๋ค. ์ด ํ์ด์ง์ ์ฝ๋ ํจ๋์์ ๋ฐ๋ก ์ธ ์ ์๋ ์์ ๋ฅผ ๋ณต์ฌํ์ธ์.
- Baseten: Mammoth 1 (free)์ ๋์์ ๋ฌด์์ธ๊ฐ์?
- ๋น์ทํ ๊ฐ๊ฒฉ๋์ ํ๋จ ๋ชจ๋ธ: Baseten: Elephant 1 (free), Inception: Mercury Decide (free), Respan: Span-01 Lite. ๋ชจ๋ ๊ฐ์ API ํค๋ก ์คํ๋๋ฏ๋ก ๋ฌธ์์ด ํ๋๋ง ๋ฐ๊พธ๋ฉด ์ ํ๋ฉ๋๋ค.
Baseten: Mammoth 1 (free) ์ปค๋ฎค๋ํฐ
์ ํ ํฝ์ด ์ปค๋ฎค๋ํฐ์๋ ์์ง ํ ํฝ์ด ์์ต๋๋ค. Baseten: Mammoth 1 (free)์ ๋ํ ์ฒซ ํ ํฝ์ ์ด์ด ๋ณด์ธ์.