์ฟ ํค๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์ฟ ํค์ ๋ธ๋ผ์ฐ์ ์ ์ฅ์๋ ๋ก๊ทธ์ธ ์ํ๋ฅผ ์ ์งํ๊ณ ํ๊ฒฝ์ค์ ์ ๊ธฐ์ตํฉ๋๋ค. ๋์ํ์๋ฉด ์ฌ์ดํธ ์ด์ฉ ๋ฐฉ์๋ ์ธก์ ํฉ๋๋ค. ์ธ์ ๋ ์ง ํ ์ ์์ต๋๋ค. ์์ธํ ๋ด์ฉ์ ์ฟ ํค ์ ์ฑ ์ ์ฐธ๊ณ ํ์ธ์.
Sentence Transformers: all-MiniLM-L6-v2
sentence-transformers/all-minilm-l6-v2์ง๊ธ Sentence Transformers: all-MiniLM-L6-v2 ์ฌ์ฉํด ๋ณด๊ธฐ
์ ๊ฐ๊ฒฉ์ผ๋ก ์์ก์์ ์ฐจ๊ฐ๋ฉ๋๋ค. ์ ๊ณ์ ์ ๋ฌด๋ฃ ์ฌ์ฉ๋์ผ๋ก ์์ํฉ๋๋ค.
๊ฒฐ๊ณผ๊ฐ ์ฌ๊ธฐ์ ํ์๋ฉ๋๋ค.
์ค์
Sentence Transformers: all-MiniLM-L6-v2 ํ๋์ ๋ณด๊ธฐ
- ์ ๋ ฅ ๊ฐ๊ฒฉ์ด ์๋ฒ ๋ฉ ๋ชจ๋ธ 34๊ฐ์ ์ค์๊ฐ๋ณด๋ค 75% ๋ฎ์ต๋๋ค.
Sentence Transformers: all-MiniLM-L6-v2 ์๊ฐ
Sentence Transformers: all-MiniLM-L6-v2๋ Sentence Transformers์ ์๋ฒ ๋ฉ ๋ชจ๋ธ๋ก, api14์ embeddings ์นดํ ๊ณ ๋ฆฌ๋ก ๋ฑ๋ก๋์ด ์์ต๋๋ค. ์ด๋ ์ฑํ ์ด๋ ํ ์คํธ ์์ฑ ๋ชจ๋ธ์ด ์๋๋ผ ์ํ ๋ฌธ์ฅ ์๋ฒ ๋ฉ ๋ชจ๋ธ์ด๋ฏ๋ก, ๊ทธ ์ญํ ์ ํ ์คํธ๋ฅผ ์๋ฏธ๋ฅผ ๋ด์ ๋ฒกํฐ๋ก ๋ณํํ๋ ๊ฒ์ ๋๋ค. ์๋งจํฑ ๊ฒ์, ์ค๋ณต ์ ๊ฑฐ ๋๋ ํด๋ฌ์คํฐ๋ง์ ๊ตฌ์ถํ๊ณ ์๋ค๋ฉด, ์์ฑ ๋ชจ๋ธ์ด ์๋๋ผ ์ด๋ฐ ์ข ๋ฅ์ ๋ชจ๋ธ์ ์ ํํ๊ฒ ๋ฉ๋๋ค.
์ด ๋ชจ๋ธ์ ํ ์คํธ๋ฅผ ์ ๋ ฅ์ผ๋ก ๋ฐ๊ณ ์๋ฒ ๋ฉ์ ์ถ๋ ฅ์ผ๋ก ๋ฐํํฉ๋๋ค. ๋ฌธ์ฅ๊ณผ ์งง์ ๋จ๋ฝ์ 384์ฐจ์์ ๋ฐ์ง ๋ฒกํฐ ๊ณต๊ฐ์ ๋งคํํ๋ฉฐ, ์ด๊ฒ์ด ์ด ๋ชจ๋ธ์ ์๋งจํฑ ํํ์ ์ ์ฉํ๊ฒ ๋ง๋ญ๋๋ค. ์ปจํ ์คํธ ์๋์ฐ๋ 512 ํ ํฐ์ด๊ณ ์ต๋ ์ถ๋ ฅ์ 460์ด๋ฏ๋ก, ๊ธด ๋ฌธ์๋ณด๋ค๋ ๋ฌธ์ฅ๊ณผ ์งง์ ๊ตฌ์ ์ ์ํด ์ค๊ณ๋์์ต๋๋ค. ์ด ๋ชจ๋ธ์ ํ ์คํธ๋ฅผ ์์ฑํ์ง ์๊ธฐ ๋๋ฌธ์ ์ํ๋ง์ด๋ ์์ฑ ์คํ์ผ ํ๋ผ๋ฏธํฐ๋ ์ง์ํ์ง ์์ต๋๋ค.
์ด๋ฌํ ๊ธฐ๋ฅ์ ์๋นํ ํน์ ํ ์ฌ์ฉ ์ฌ๋ก ์งํฉ์ ๊ฐ๋ฆฌํต๋๋ค. ์ ๋ณด ๊ฒ์๊ณผ ์๋งจํฑ ๊ฒ์์ด ๊ฐ์ฅ ๋ช ๋ฐฑํ ์์ ๋๋ค. ๋ฌธ์์ ์ฟผ๋ฆฌ๋ฅผ ์๋ฒ ๋ฉํ ๋ค์ ๋ฒกํฐ๋ฅผ ์ ์ฌ๋๋ก ๋น๊ตํ๋ฉด ๋ฉ๋๋ค. ๊ฐ๊น์ด ๋ฒกํฐ๋ ๋น์ทํ ์๋ฏธ๋ฅผ ๊ฐ์ง ๊ฐ๋ฅ์ฑ์ด ๋๊ธฐ ๋๋ฌธ์ ํด๋ฌ์คํฐ๋ง๊ณผ ์ฃผ์ ๊ทธ๋ฃนํ๊ฐ ์ ์๋ํฉ๋๋ค. ๊ฐ์ ํน์ฑ์ ์ค๋ณต ์ ๊ฑฐ, ๊ทผ์ ์ค๋ณต ๊ฐ์ง, ๊ทธ๋ฆฌ๊ณ ๋น ๋ฅด๊ณ ์์ ์๋ฒ ๋ฉ ๋จ๊ณ๊ฐ ํ์ํ ์ถ์ฒ ๋๋ ์ฌ์์ ํ์ดํ๋ผ์ธ ๊ตฌ์ถ์๋ ๋์์ด ๋ฉ๋๋ค. ๋ฒกํฐ๊ฐ 384์ฐจ์์ ๋ถ๊ณผํ๊ธฐ ๋๋ฌธ์ ๋๊ท๋ชจ์์๋ ์ ์ฅ๊ณผ ๋น๊ต ๋น์ฉ์ด ์ ๋ ดํ๊ฒ ์ ์ง๋ฉ๋๋ค.
api14์ OpenAI ํธํ API๋ฅผ ํตํด ๋ชจ๋ธ id "sentence-transformers/all-minilm-l6-v2"๋ฅผ ์ฌ์ฉํ์ฌ ํธ์ถํฉ๋๋ค. ์๋ํฌ์ธํธ๊ฐ OpenAI embeddings ํํ๋ฅผ ๋ฐ๋ฅด๋ฏ๋ก, input ํ๋์ ํ ์คํธ๋ฅผ ๋ณด๋ด๊ณ ์๋ต์์ ๋ฒกํฐ๋ฅผ ์ฝ์ต๋๋ค. ์ด ๋ชจ๋ธ์ ์ง์๋๋ ํ๋ผ๋ฏธํฐ๋ฅผ ๋์ดํ์ง ์์ผ๋ฏ๋ก, ์์ฒญ ๋ณธ๋ฌธ์์ model id์ input ์์ฒด ์ธ์ ์ถ๊ฐ๋ก ์กฐ์ ํ ๊ฒ์ ์์ต๋๋ค. ์ ๋ ฅ์ ์ค๋นํ ๋ 512 ํ ํฐ ์ปจํ ์คํธ๋ฅผ ํ๋ ๊ฒฝ๊ณ๋ก ์ทจ๊ธํ์ธ์.
์ด ์ปจํ ์คํธ ์ ํ์ด ์ฃผ์ ์ค์ฉ์ ์ ์ฝ์ ๋๋ค. ์๋ฏธ ๋จ์๊ฐ ์งง์ ๋จ๋ฝ๋ณด๋ค ๊ธธ๋ค๋ฉด, ์๋ฒ ๋ฉํ๊ธฐ ์ ์ ์ฒญํฌ๋ก ๋๋์ด์ผ ํ๋ฉฐ, ์ฒญํน์ ํ์ง์ด ํ์ดํ๋ผ์ธ์์ ๋ฌด์๋ณด๋ค ์ค์ํด์ง๋๋ค. ํ ์คํธ๋ฅผ ์์ฑํ๊ฑฐ๋ ์ง๋ฌธ์ ๋ตํ๊ฑฐ๋ ์ง์๋ฅผ ๋ฐ๋ฅด๋ ๋ชจ๋ธ์ด ํ์ํ๋ค๋ฉด, ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ์๋ชป๋ ๋๊ตฌ์ด๋ฉฐ ๋์ ์ฑํ ๋๋ ์์ฑ ๋ชจ๋ธ์ ์ดํด๋ด์ผ ํฉ๋๋ค. ๋ฌธ์ฅ๊ณผ ์งง์ ๊ตฌ์ ์ ๋ํ ์๋งจํฑ ์ ์ฌ๋์๋ ์ด ๋ชจ๋ธ์ด ์์ ์ ์ง์ ๋ง์ต๋๋ค.
Sentence Transformers: all-MiniLM-L6-v2 API ํธ์ถ ๋ฐฉ๋ฒ
- ๋์๋ณด๋์์ API ํค๋ฅผ ๋ง๋์ธ์.
- ์ฌ์ฉํ๋ ์ธ์ด์ ๊ณต์ openai SDK๋ฅผ ์ค์นํ์ธ์.
- baseURL์ https://api14.com/api/v1๋ก, model์ "sentence-transformers/all-minilm-l6-v2"๋ก ์ค์ ํ์ธ์.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.embeddings.create({
"model": "sentence-transformers/all-minilm-l6-v2",
"input": [
"The quick brown fox",
"Lorem ipsum"
]
});
console.log(result.data.map((d) => d.embedding.length));
์ฌ์
- ์ปจํ ์คํธ ๊ธธ์ด
- 512
- ์ต๋ ์ถ๋ ฅ
- 460
- ์ ๋ ฅ
- text
- ์ถ๋ ฅ
- embeddings
api14 ์์ฒญ ์ ยท ์ต๊ทผ 7์ผ
Sentence Transformers: all-MiniLM-L6-v2: ์์ฃผ ๋ฌป๋ ์ง๋ฌธ
- Sentence Transformers: all-MiniLM-L6-v2 API ๋น์ฉ์ ์ผ๋ง์ธ๊ฐ์?
- Sentence Transformers: all-MiniLM-L6-v2์ ๊ฐ๊ฒฉ์ ์ ๋ ฅ US$0.02 / 100๋ง ํ ํฐ์ ๋๋ค. ์ฑ๊ณตํ ์์ฒญ์ ๋ํด์๋ง USD ์์ก์์ ์ฐจ๊ฐ๋๋ฉฐ, ์คํจํ ์์ฒญ์ ๋ฌด๋ฃ์ ๋๋ค.
- Sentence Transformers: all-MiniLM-L6-v2์ ์ปจํ ์คํธ ์๋์ฐ๋ ์ผ๋ง์ธ๊ฐ์?
- Sentence Transformers: all-MiniLM-L6-v2๋(์) ์์ฒญ๋น ์ต๋ 512 ํ ํฐ์ ์ฝ์ต๋๋ค, ํ๋กฌํํธ, ๋ํ ๊ธฐ๋ก, ๋ฌธ์๋ฅผ ๋ชจ๋ ํฉ์น ์์ ๋๋ค. ์๋ต๋น ์ต๋ 460๊ฐ์ ์ถ๋ ฅ ํ ํฐ์ ์์ฑํฉ๋๋ค.
- Sentence Transformers: all-MiniLM-L6-v2๋(์) ๋ฌด์์ ํ ์ ์๋์?
- Sentence Transformers: all-MiniLM-L6-v2๋(์) text ์ ๋ ฅ์ ๋ฐ์ embeddings ์ถ๋ ฅ์ ๋ฐํํฉ๋๋ค.
- ์ฝ๋์์ Sentence Transformers: all-MiniLM-L6-v2๋ฅผ(์) ์ด๋ป๊ฒ ํธ์ถํ๋์?
- ์ด๋ค OpenAI SDK๋ base URL์ https://api14.com/api/v1๋ก ์ง์ ํ๊ณ model์ "sentence-transformers/all-minilm-l6-v2"๋ก ์ค์ ํ์ธ์, ๋ค๋ฅธ ์ฝ๋ ๋ณ๊ฒฝ์ ํ์ ์์ต๋๋ค. ์ด ํ์ด์ง์ ์ฝ๋ ํจ๋์์ ๋ฐ๋ก ์ธ ์ ์๋ ์์ ๋ฅผ ๋ณต์ฌํ์ธ์.
- Sentence Transformers: all-MiniLM-L6-v2์ ๋์์ ๋ฌด์์ธ๊ฐ์?
- ๋น์ทํ ๊ฐ๊ฒฉ๋์ ์๋ฒ ๋ฉ ๋ชจ๋ธ: Thenlper: GTE-Base, Intfloat: E5-Base-v2, Sentence Transformers: paraphrase-MiniLM-L6-v2. ๋ชจ๋ ๊ฐ์ API ํค๋ก ์คํ๋๋ฏ๋ก ๋ฌธ์์ด ํ๋๋ง ๋ฐ๊พธ๋ฉด ์ ํ๋ฉ๋๋ค.
Sentence Transformers: all-MiniLM-L6-v2 ์ปค๋ฎค๋ํฐ
์ ํ ํฝ์ด ์ปค๋ฎค๋ํฐ์๋ ์์ง ํ ํฝ์ด ์์ต๋๋ค. Sentence Transformers: all-MiniLM-L6-v2์ ๋ํ ์ฒซ ํ ํฝ์ ์ด์ด ๋ณด์ธ์.