IBM: Granite 4.0 Micro

IBM Granite 4.0 Micro, wymieniony na api14 jako ibm-granite/granite-4.0-h-micro, to model tekstowy z rodziny Granite 4 firmy IBM. Jest to model o 3 miliardach parametrów, a IBM opisuje rodzinę Granite 4 jako najnowszą w serii modeli wydanych przez firmę. Ten konkretny wariant to członek H-Micro tej rodziny, a IBM podaje, że rodzina jest dostrojona do długich zadań, co czyni rozmiar Micro dostępnym punktem wejścia do linii Granite 4 dla zespołów, które chcą nowszej generacji IBM bez przechodzenia na większy model.

Model działa na wejściu tekstowym i generuje wyłącznie wyjście tekstowe; nie przyjmuje obrazów ani dźwięku i nie generuje niczego poza tekstem. Jego okno kontekstowe wynosi 131 000 tokenów, a maksymalne wyjście to 117 900 tokenów. To połączenie dużego kontekstu i bardzo dużego limitu wyjścia oznacza, że można wysłać długie dokumenty w jednym żądaniu i nadal pozostawić znaczne miejsce na odpowiedź modelu, co jest nietypowe dla modelu o tym rozmiarze.

Praktyczne zastosowania wynikają z tych liczb. Podsumowywanie długich raportów, umów lub transkrypcji mieści się wygodnie w oknie kontekstowym. Ekstrakcja i generowanie strukturalne również pasują naturalnie, ponieważ model obsługuje response_format, a wysoki pułap wyjścia pozwala mu wyemitować duże obiekty JSON lub dokumenty wielosekcyjne w jednym wywołaniu. Ponieważ limit wyjścia jest hojny względem okna wejściowego, zadania, w których odpowiedź sama jest długa, takie jak przepisywanie, rozwijanie lub tworzenie długich fragmentów na podstawie materiału źródłowego, są wykonalne. Ogólny czat, klasyfikacja, tagowanie i lekkie agenty nad danymi tekstowymi to również rozsądne punkty wyjścia.

Wywołujesz go przez API zgodne z OpenAI na api14, używając identyfikatora modelu ibm-granite/granite-4.0-h-micro, więc istniejące zestawy SDK i klienty OpenAI działają po zmianie tylko bazowego adresu URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k, top_logprobs i top_p. Ten zestaw obejmuje kontrolę próbkowania (temperature, top_p, top_k, min_p), obsługę powtórzeń (frequency_penalty, presence_penalty, repetition_penalty), deterministyczne ponowienia przez seed, wyjście strukturalne przez response_format oraz inspekcję na poziomie tokenów przez logprobs i top_logprobs.

Nie ma podanych ograniczeń poza wejściem i wyjściem wyłącznie tekstowym, warto też zauważyć, że jest to model o 3 miliardach parametrów, więc jeśli potrzebujesz wizji, dźwięku lub znacznie większego modelu, inna opcja na api14 może pasować lepiej. W przeciwnym razie, do pracy z tekstem w długim kontekście z wysokim pułapem wyjścia, warto przetestować go bezpośrednio.