NVIDIA: Switchyard

NVIDIA: Switchyard to open-source router modeli od NVIDIA. Nie jest pojedynczym modelem w zwykłym sensie, lecz warstwą routingu, która przełącza między wieloma modelami, a jej deklarowanym celem jest optymalizacja kosztu żądań. Domyślnie używa danych rynkowych, aby wybrać najpopularniejszą opcję spośród dostępnych dla niego modeli. Należy do kategorii tekstowej i jest identyfikowany w api14 przez identyfikator modelu nvidia/switchyard.

Jako router Switchyard przyjmuje tekst i zwraca tekst. Akceptuje wyłącznie dane wejściowe w postaci tekstu i generuje wyłącznie dane wyjściowe w postaci tekstu, więc nie ma obsługi obrazów, dźwięku ani plików, którą trzeba by uwzględniać. Jego okno kontekstu wynosi 1 000 000 tokenów, co wystarcza na bardzo długie dokumenty, rozbudowane historie rozmów lub spore bazy kodu w jednym żądaniu. Opis dostawcy nie określa maksymalnej długości danych wyjściowych, a dla tego modelu nie wymieniono żadnych obsługiwanych parametrów żądania.

Praktyczny przypadek użycia Switchyard wynika z tego, czym on jest: dyspozytorem świadomym kosztów. Jeśli uruchamiasz obciążenie, w którym wiele żądań nie potrzebuje twojego najdroższego modelu, przepuszczanie ich przez Switchyard pozwala routerowi wybierać spośród modeli na podstawie danych rynkowych, zamiast ręcznego zakodowania wyboru dla każdego żądania. Miliontokenowe okno kontekstu czyni go również realnym rozwiązaniem dla zadań z długim wejściem, takich jak streszczanie obszernych raportów, przeszukiwanie dużych zbiorów dokumentów czy prowadzenie długotrwałych sesji czatu, w których wolisz nie zarządzać obcinaniem samodzielnie. Ponieważ dane wyjściowe są zwykłym tekstem, pasuje do standardowych przepływów generowania, ekstrakcji i odpowiadania na pytania.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu nvidia/switchyard. Skieruj istniejącego klienta OpenAI na bazowy adres URL api14 i przekaż ten identyfikator w polu model żądania uzupełniania czatu. Dla tego modelu nie wymieniono żadnych obsługiwanych parametrów, więc traktuj go jako akceptującego podstawową postać żądania (model plus messages) i nie zakładaj, że opcjonalne ustawienia, takie jak temperature, top_p czy max tokens, będą respektowane. Jeśli potrzebujesz, aby konkretny parametr działał, zweryfikuj to na podstawie rzeczywistego zachowania, zanim zaczniesz na nim polegać w środowisku produkcyjnym.

Jedna rzecz do rozważenia: Switchyard to router, a nie stały model. Model bazowy obsługujący dane żądanie może się różnić, co oznacza, że styl odpowiedzi, opóźnienie i jakość mogą się różnić między wywołaniami w sposób, którego nie da się w pełni przewidzieć na podstawie samego identyfikatora modelu. Jeśli potrzebujesz deterministycznego, powtarzalnego zachowania od jednego znanego modelu, bezpośredni identyfikator modelu prawdopodobnie będzie lepszym wyborem. Switchyard jest najbardziej przydatny, gdy optymalizacja kosztów w mieszanym obciążeniu liczy się bardziej niż przypisanie każdego żądania do jednego modelu.