LiquidAI: LFM2.5-24B-A2B

LiquidAI: LFM2.5-24B-A2B to model tekstowy od LiquidAI. Jest to model rozumujący typu mixture-of-experts z 24B parametrów całkowitych i 2,45B parametrów aktywnych. Dostawca opisuje go jako zawsze rozumujący przed udzieleniem odpowiedzi oraz jako zbudowany dla agentów wywołujących narzędzia. Należy do kategorii tekstowych, więc przyjmuje tekst na wejściu i zwraca tekst na wyjściu.

Model przyjmuje dane wejściowe w postaci tekstu i generuje dane wyjściowe w postaci tekstu, z oknem kontekstu wynoszącym 128 000 tokenów i maksymalnym wyjściem 8 192 tokenów. Ponieważ jest to model rozumujący, przeprowadza rozumowanie przed wygenerowaniem odpowiedzi, a parametry include_reasoning i reasoning pozwalają kontrolować sposób obsługi tego rozumowania w odpowiedzi. Obsługuje również używanie narzędzi poprzez parametry tools i tool_choice, a także ustrukturyzowane wyjścia i response_format do ograniczania kształtu wyjścia. Zachowanie próbkowania można dostroić za pomocą temperature, top_k, min_p, frequency_penalty, presence_penalty, repetition_penalty, seed i stop, a logprobs z top_logprobs są dostępne, jeśli potrzebujesz prawdopodobieństw na poziomie tokenów.

Te możliwości wskazują na kilka praktycznych zastosowań. Agenci wywołujący narzędzia są najlepszym dopasowaniem, ponieważ model jest zaprojektowany do rozumowania, a następnie wywoływania narzędzi, co pasuje do przepływów pracy wymagających wyszukiwania informacji, wywoływania funkcji lub łączenia kroków. Ustrukturyzowane wyjścia czynią go rozsądnym wyborem do wyodrębniania pól z dokumentów lub zwracania wyników czytelnych maszynowo, które zasilają inny system. Okno kontekstu 128 000 tokenów obsługuje długie dane wejściowe, takie jak duże dokumenty, długie historie rozmów lub spore pliki kodu, a krok rozumowania pomaga w zadaniach, które zyskują na przeanalizowaniu problemu przed odpowiedzią, takich jak wieloetapowa analiza lub planowanie.

Model wywołujesz przez zgodne z OpenAI API api14, używając identyfikatora modelu "liquid/lfm-2.5-24b-a2b". Żądania są zgodne z formatem OpenAI chat completions, więc istniejące zestawy SDK i klienty OpenAI działają po zmianie bazowego adresu URL i identyfikatora modelu. Obsługiwane parametry żądania to frequency_penalty, include_reasoning, logprobs, max_completion_tokens, max_tokens, min_p, presence_penalty, reasoning, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k i top_logprobs.

Pamiętaj o limicie wyjścia: odpowiedzi są ograniczone do 8 192 tokenów, więc zadania wymagające bardzo długiej pojedynczej odpowiedzi mogą wymagać podzielenia pracy na kilka wywołań. Model obsługuje wyłącznie tekst, więc jeśli dane wejściowe zawierają obrazy lub dźwięk, będziesz potrzebować innego modelu. W przypadku prostego generowania tekstu o dużym wolumenie, gdzie rozumowanie i wywołania narzędzi nie wnoszą wartości, prostszy model może być tańszy i szybszy, ale w przypadku pracy w stylu agentowym i ustrukturyzowanego wyodrębniania zestaw funkcji tego modelu jest dobrym dopasowaniem.