OpenAI: Text Embedding 3 Small

OpenAI: Text Embedding 3 Small è un modello di embedding di OpenAI, elencato su api14 con l'id del modello openai/text-embedding-3-small. Si colloca nella categoria degli embedding, e OpenAI lo descrive come una versione migliorata e più performante del modello di embedding ada. Invece di generare risposte di chat, produce embedding, ovvero rappresentazioni numeriche del testo usate per misurare quanto due porzioni di testo siano correlate.

Il modello accetta testo come unica modalità di input e restituisce embedding come unica modalità di output, quindi si inserisce in pipeline in cui si convertono stringhe in vettori, non in sistemi conversazionali. Ha una lunghezza di contesto di 8192 token, che stabilisce il limite massimo di testo che una singola richiesta può coprire prima di doverlo suddividere. I dettagli elencano anche un output massimo di 7372, un valore utile da tenere a mente quando si decide come suddividere documenti più lunghi.

Gli usi pratici derivano direttamente da questa struttura. Poiché gli embedding permettono di misurare la correlazione tra testi, il modello è adatto alla ricerca semantica, dove si calcola l'embedding di una query e di un corpus e si classificano i documenti per similarità. La generazione aumentata tramite recupero è un'altra applicazione comune, dato che uno strato di recupero basato su embedding può fornire passaggi rilevanti a un modello di generazione separato. La stessa proprietà supporta il clustering e il raggruppamento per argomento su grandi collezioni di testi, la deduplicazione di contenuti quasi identici, la classificazione quando si addestra un classificatore leggero sopra i vettori, e funzionalità di raccomandazione o similarità che confrontano elementi tramite le loro descrizioni testuali. Il contesto di 8192 token significa che ogni input può essere un passaggio sostanziale, non solo una singola frase, il che aiuta quando si calcola l'embedding di intere sezioni anziché di righe isolate.

Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello openai/text-embedding-3-small. Poiché l'interfaccia segue il formato OpenAI, le librerie client OpenAI esistenti e il codice che punta all'endpoint degli embedding possono essere indirizzati ad api14 con modifiche minime. L'elenco dei parametri supportati dal modello è vuoto, quindi non ci sono parametri di richiesta aggiuntivi documentati oltre alla struttura standard della richiesta per una chiamata di embedding: si fornisce l'id del modello e il testo di input, e si riceve il vettore di output. Qualsiasi ottimizzazione si voglia fare, come il modo in cui si suddivide il testo o come si confrontano i vettori risultanti, avviene nella propria pipeline anziché tramite parametri del modello.

Poiché gestisce solo testo in input ed embedding in output, questo modello non è la scelta giusta quando serve testo generato, chiamate a strumenti o qualsiasi comportamento conversazionale; un modello di chat o di completamento copre quei casi. È anche un modello di embedding con una finestra di contesto fissa, quindi documenti molto lunghi devono comunque essere suddivisi prima dell'embedding. Entro questi limiti è un valore predefinito ragionevole per i team che vogliono un modello di embedding OpenAI piccolo e attuale dietro un endpoint compatibile con OpenAI.