Google: Gemma 2 27B

Google Gemma 2 27B is een open tekstmodel van Google, gebouwd met dezelfde research en technologie die gebruikt zijn om de Gemini modellen te maken. Het hoort bij de Gemma 2 familie en is met 27B parameters de grootste variant in die lijn. Het model werd door de provider uitgebracht op 13 juli 2024, en de knowledge cutoff is 30 juni 2024, dus alles na die datum valt buiten wat het tijdens training heeft geleerd.

Het is een tekst in, tekst uit model. Het contextvenster is 8192 tokens, en de maximale output is 2048 tokens. Die combinatie bepaalt hoe je prompts plant: lange documenten, grote codebestanden of uitgebreide chatgeschiedenissen moeten samen met je instructies binnen het budget van 8192 tokens passen, en het antwoord zelf is beperkt tot 2048 tokens. Er zijn hier geen afbeeldingen, audio of andere inputmodaliteiten, dus alles wat je stuurt moet platte tekst zijn.

De praktische toepassingen volgen uit dat profiel. Het werkt goed voor chatassistenten, vraagbeantwoording over materiaal dat je in de prompt plakt, samenvatting van artikelen of rapporten die binnen het contextvenster passen, opstellen en herschrijven, classificatie- en extractietaken, en code uitleggen of genereren binnen de outputlimiet. Omdat het een instruction tuned model is, reageert het op directe taakbeschrijvingen in plaats van dat je voor elk verzoek few shot voorbeelden nodig hebt. Ondersteuning voor structured outputs maakt het ook een redelijke keuze wanneer je wilt dat het antwoord aan een schema voldoet, bijvoorbeeld het extraheren van velden uit supporttickets of productbeschrijvingen naar JSON.

Je roept het aan via de OpenAI-compatibele API van api14 met het model id "google/gemma-2-27b-it". Omdat de interface de vorm van OpenAI chat completions volgt, kun je een bestaande OpenAI client op api14 richten en de modelstring wijzigen. De ondersteunde request parameters zijn frequency_penalty, max_tokens, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature en top_p. In de praktijk stel je temperature en top_p in om de sampling te sturen, gebruik je max_tokens om het antwoord binnen de outputlimiet van 2048 te houden, pas je stop sequences toe om de generatie netjes te beëindigen, en gebruik je seed wanneer je herhaalbare resultaten wilt. De penalty parameters helpen herhaalde formuleringen te verminderen, en response_format samen met structured_outputs dekt gevallen waarin de output een gedefinieerde structuur moet volgen.

De belangrijkste beperking om af te wegen is het contextvenster. Met 8192 tokens is het kleiner dan wat veel huidige modellen bieden, dus workloads die afhankelijk zijn van zeer lange documenten, grote repositories of langlopende gesprekken hebben mogelijk chunking, retrieval of een model met een groter venster nodig. De outputlimiet van 2048 tokens sluit ook zeer lange enkele antwoorden uit. Als je taak binnen die grenzen past en je een open Google model wilt met instruction following en ondersteuning voor structured output, is Gemma 2 27B een voor de hand liggende optie om te testen via hetzelfde API-oppervlak dat je al gebruikt.