Google: Gemma 2 27B

Google Gemma 2 27B är en öppen textmodell från Google, byggd från samma forskning och teknik som användes för att skapa Gemini-modellerna. Den tillhör familjen Gemma 2 och är med 27B parametrar den största varianten i den linjen. Modellen släpptes av leverantören den 13 juli 2024, och dess kunskapsgräns är den 30 juni 2024, så allt efter det datumet ligger utanför vad den lärde sig under träningen.

Det är en modell med text in, text ut. Kontextfönstret är 8192 tokens, och den maximala utdata är 2048 tokens. Den kombinationen formar hur du planerar prompter: långa dokument, stora kodfiler eller utökade chatthistoriker behöver rymmas inom budgeten på 8192 tokens tillsammans med dina instruktioner, och själva svaret är begränsat till 2048 tokens. Det finns inga bild-, ljud- eller andra indatamodaliteter här, så allt du skickar måste vara vanlig text.

De praktiska användningsområdena följer av den profilen. Den fungerar bra för chattassistenter, frågor och svar över material som du klistrar in i prompten, sammanfattning av artiklar eller rapporter som ryms i kontexten, utkast och omskrivning, klassificerings- och extraheringsuppgifter, samt kodförklaring eller kodgenerering inom utdatagränsen. Eftersom det är en instruktionstränad modell svarar den på direkta uppgiftsbeskrivningar i stället för att few shot-exempel krävs för varje begäran. Stöd för strukturerade utdata gör den också till ett rimligt val när du behöver att svaret följer ett schema, till exempel för att extrahera fält från supportärenden eller produktbeskrivningar till JSON.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "google/gemma-2-27b-it". Eftersom gränssnittet har formen av OpenAI chat completions kan du peka en befintlig OpenAI-klient mot api14 och ändra modellsträngen. De begärandeparametrar som stöds är frequency_penalty, max_tokens, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature och top_p. I praktiken ställer du in temperature och top_p för att styra samplingen, använder max_tokens för att begränsa svaret inom utdatagränsen på 2048, tillämpar stoppsekvenser för att avsluta genereringen rent och använder seed när du vill ha upprepningsbara resultat. Straffparametrarna hjälper till att minska upprepad formulering, och response_format tillsammans med structured_outputs täcker fall där utdata måste följa en definierad struktur.

Den främsta begränsningen att väga in är kontextfönstret. Med 8192 tokens är det mindre än vad många aktuella modeller erbjuder, så arbetsbelastningar som är beroende av mycket långa dokument, stora kodförråd eller långvariga konversationer kan behöva chunkning, hämtning eller en modell med ett större fönster. Taket på 2048 tokens för utdata utesluter på samma sätt mycket långa enskilda svar. Om din uppgift ryms inom dessa gränser och du vill ha en öppen Google-modell med stöd för instruktionsföljning och strukturerade utdata, är Gemma 2 27B ett enkelt alternativ att testa via samma API-yta som du redan använder.