Google: Gemma 3 12B

Gemma 3 12B to model generowania tekstu od Google, wydany 13 marca 2025 jako część rodziny Gemma 3. Jest to wariant 12B dostrojony do instrukcji, identyfikowany na api14 jako google/gemma-3-12b-it. Gemma 3 oznacza przejście Google w kierunku wprowadzenia multimodalności do linii Gemma, więc ten model przyjmuje zarówno tekst, jak i obrazy jako dane wejściowe, produkując tekst jako dane wyjściowe.

Model obsługuje okno kontekstu do 131072 tokenów i może wygenerować do 16384 tokenów w pojedynczej odpowiedzi. Jego data odcięcia wiedzy to 31 sierpnia 2024. Według Google Gemma 3 obsługuje ponad 140 języków i wprowadza ulepszoną matematykę, rozumowanie oraz zachowanie w czacie w porównaniu z wcześniejszymi wydaniami Gemma. Ponieważ przyjmuje obrazy jako dane wejściowe obok tekstu, może pracować z promptami wizyjno-językowymi, a nie tylko z tekstem, choć wszystko, co zwraca, to zwykły tekst.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Długie okno kontekstu pasuje do zadań obejmujących duże dokumenty, takich jak streszczanie długich raportów, odpowiadanie na pytania dotyczące zbioru tekstu lub przetwarzanie rozbudowanych historii czatu. Wejście multimodalne czyni go rozsądnym wyborem do opisywania obrazów lub rozumowania na ich temat, na przykład wyodrębniania informacji ze zrzutów ekranu, diagramów lub zdjęć i zwracania pisemnej odpowiedzi. Jego wielojęzyczne pokrycie oraz ulepszona matematyka i rozumowanie czynią go przydatnym do tłumaczenia, strukturalnego rozwiązywania problemów i ogólnych asystentów. Wywoływanie narzędzi i strukturalne dane wyjściowe pozwalają mu również działać w potokach, które wymagają odpowiedzi czytelnych maszynowo lub wywołań zewnętrznych funkcji.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu google/gemma-3-12b-it, więc istniejące biblioteki klienta OpenAI działają po zmianie tylko bazowego adresu URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k i top_p. Ten zestaw obejmuje kontrolę próbkowania, deterministyczne dane wyjściowe przez seed, sekwencje stop, odpowiedzi JSON lub ograniczone schematem przez response_format i structured_outputs oraz użycie narzędzi przez tools i tool_choice.

Jedna rzecz do zapamiętania to górny limit danych wyjściowych: odpowiedzi są ograniczone do 16384 tokenów, mimo że okno kontekstu jest znacznie większe, więc bardzo długie generowania trzeba dzielić lub kontynuować w kolejnych wywołaniach. Data odcięcia wiedzy 31 sierpnia 2024 oznacza również, że model nie ma świadomości zdarzeń po tej dacie, chyba że dostarczysz informacje w prompcie. Jeśli Twoje zadanie jest wyłącznie tekstowe i nie korzysta z wejścia obrazowego, mniejszy lub bardziej wyspecjalizowany model tekstowy może być tańszy i szybszy, ale do pracy z mieszanym tekstem i obrazami w długim kontekście ten model jest rozsądnym domyślnym wyborem.