NVIDIA: Nemotron 3.5 Lightning (free)

Nemotron 3.5 Lightning to otwarty model typu mixture-of-experts od NVIDIA. Ma 3B aktywnych parametrów z 30B całkowitych, co oznacza, że na każdy token uruchamiana jest tylko część sieci, podczas gdy pełny model wciąż zachowuje szeroką bazę wyuczonej wiedzy. Należy do kategorii tekstowej, więc jest zbudowany do pracy z językiem, a nie z obrazami czy dźwiękiem. Tag "free" w api14 oznacza ten wariant jako taki, którego można wypróbować bez płatnego planu.

Model przyjmuje tekst i zwraca tekst. Jego okno kontekstu wynosi 1 000 000 tokenów, co wystarcza, aby pomieścić całe bazy kodu, długie zestawy dokumentów lub rozszerzone transkrypcje agentów w jednym żądaniu. Maksymalne wyjście to 65 536 tokenów, więc pojedyncze wywołanie może wygenerować długi raport, duży refaktor lub wieloetapowy plan bez dzielenia pracy. Ponieważ jest to konstrukcja mixture-of-experts z małą liczbą aktywnych parametrów, jest pozycjonowany do zadań agentowych o wysokiej przepustowości i zadań specjalistycznych, gdzie wiele wywołań odbywa się równolegle, a opóźnienie na wywołanie ma znaczenie.

Te cechy wskazują na kilka praktycznych wzorców. Wyszukiwanie i streszczanie w długim kontekście dobrze pasują: można przekazać duży korpus i poprosić o syntezę za jednym razem. Pętle agentowe to kolejne zastosowanie, ponieważ model obsługuje wywoływanie narzędzi i potrafi zdecydować, kiedy wywołać funkcję i jak wykorzystać wynik. Klasyfikacja wsadowa, ekstrakcja i routing na dużych ilościach tekstu również mają sens ze względu na orientację na przepustowość. Prompty wymagające intensywnego rozumowania są także obsługiwane, więc zadania, które korzystają z widocznego łańcucha myśli przed ostateczną odpowiedzią, mogą być obsłużone w tym samym modelu.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "nvidia/nemotron-3.5-lightning:free". Skieruj istniejącego klienta OpenAI na bazowy URL api14 i przekaż ten identyfikator w polu model. Obsługiwane parametry żądania to include_reasoning, max_tokens, reasoning, seed, temperature, tool_choice, tools i top_p. Użyj tools i tool_choice do wywoływania funkcji, temperature i top_p do kształtowania próbkowania, seed do powtarzalnych uruchomień, a max_tokens do ograniczenia odpowiedzi. Parametry reasoning i include_reasoning kontrolują, czy treść rozumowania jest żądana i zwracana.

Jedna rzecz do rozważenia to górny limit wyjścia. Przy 65 536 tokenach na odpowiedź bardzo duże generacje jednorazowe mogą wymagać podziału na wywołania, nawet jeśli okno wejściowe jest znacznie większe. Jeśli Twoje zadanie zależy od modalności innych niż tekst, ten model tego nie obejmie. A jeśli potrzebujesz najwyższej możliwej jakości rozumowania, a nie przepustowości w pracy agentowej i specjalistycznej, większy model może być lepszym wyborem.