Google: Gemma 2 27B

Google Gemma 2 27B ist ein offenes Textmodell von Google, das auf derselben Forschung und Technologie basiert, die zur Entwicklung der Gemini-Modelle verwendet wurde. Es gehört zur Gemma 2 Familie und ist mit 27B Parametern die größte Variante dieser Reihe. Das Modell wurde vom Anbieter am 13. Juli 2024 veröffentlicht, und sein Wissensstand endet am 30. Juni 2024, sodass alles nach diesem Datum außerhalb dessen liegt, was es während des Trainings gelernt hat.

Es ist ein Text-in-Text-out-Modell. Das Kontextfenster beträgt 8192 Token, und die maximale Ausgabe beträgt 2048 Token. Diese Kombination bestimmt, wie Sie Prompts planen: Lange Dokumente, große Codedateien oder ausgedehnte Chatverläufe müssen zusammen mit Ihren Anweisungen in das Budget von 8192 Token passen, und die Antwort selbst ist auf 2048 Token begrenzt. Es gibt hier keine Bild-, Audio- oder anderen Eingabemodalitäten, daher muss alles, was Sie senden, reiner Text sein.

Die praktischen Einsatzmöglichkeiten ergeben sich aus diesem Profil. Es eignet sich gut für Chat-Assistenten, Fragebeantwortung über Material, das Sie in den Prompt einfügen, Zusammenfassung von Artikeln oder Berichten, die in das Kontextfenster passen, Entwurf und Umschreibung, Klassifizierungs- und Extraktionsaufgaben sowie Codeerklärung oder -generierung innerhalb des Ausgabelimits. Da es ein instruction-tuned Modell ist, reagiert es auf direkte Aufgabenbeschreibungen, statt für jede Anfrage Few-Shot-Beispiele zu benötigen. Die Unterstützung strukturierter Ausgaben macht es außerdem zu einer vernünftigen Wahl, wenn die Antwort einem Schema entsprechen muss, zum Beispiel beim Extrahieren von Feldern aus Support-Tickets oder Produktbeschreibungen nach JSON.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "google/gemma-2-27b-it" auf. Da die Schnittstelle der Form der OpenAI-Chat-Completions folgt, können Sie einen vorhandenen OpenAI-Client auf api14 richten und die Modellzeichenfolge ändern. Die unterstützten Anforderungsparameter sind frequency_penalty, max_tokens, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature und top_p. In der Praxis würden Sie temperature und top_p festlegen, um die Stichprobenauswahl zu steuern, max_tokens verwenden, um die Antwort innerhalb des Ausgabelimits von 2048 zu begrenzen, Stop-Sequenzen anwenden, um die Generierung sauber zu beenden, und seed nutzen, wenn Sie reproduzierbare Ergebnisse wünschen. Die Strafparameter helfen, wiederholte Formulierungen zu reduzieren, und response_format zusammen mit structured_outputs deckt Fälle ab, in denen die Ausgabe einer definierten Struktur folgen muss.

Die wichtigste Einschränkung, die abzuwägen ist, ist das Kontextfenster. Mit 8192 Token ist es kleiner als das, was viele aktuelle Modelle bieten, daher können Arbeitslasten, die auf sehr langen Dokumenten, großen Repositories oder lang laufenden Konversationen beruhen, Chunking, Retrieval oder ein Modell mit einem größeren Fenster erfordern. Die Ausgabegrenze von 2048 Token schließt ebenso sehr lange einzelne Antworten aus. Wenn Ihre Aufgabe in diese Grenzen passt und Sie ein offenes Google-Modell mit Instruction Following und Unterstützung für strukturierte Ausgaben wünschen, ist Gemma 2 27B eine unkomplizierte Option zum Testen über dieselbe API-Oberfläche, die Sie bereits verwenden.