Sesame: CSM 1B

Sesame: CSM 1B ist ein konversationelles Sprachmodell von Sesame. Es gehört zur Kategorie Sprache und wird auf api14 durch die Modell-ID sesame/csm-1b identifiziert. Der Anbieter beschreibt es als ein Modell mit 1B Parametern, was es zu einer relativ kleinen Option für die Generierung gesprochener Audiodaten aus geschriebenem Text macht.

Das Modell nimmt Text als einzige Eingabe und erzeugt Sprache als einzige Ausgabe, genauer gesagt englische Sprache. Es hat eine Kontextlänge von 4096 Tokens und eine maximale Ausgabe von 3686 Tokens. Die Stimmauswahl ist Teil dessen, was das Modell bietet: Die verfügbaren Stimmen sind conversational_a, conversational_b, read_speech_a, read_speech_b, read_speech_c, read_speech_d und none. Die Aufteilung zwischen konversationellen und Vorlese-Sprachstilen bedeutet, dass Sie je nach gewählter Stimme einen dialogartigen Ton oder einen formelleren Erzählton anstreben können.

Diese Fähigkeiten deuten auf eine ziemlich klare Reihe von Anwendungen hin. Da die Eingabe Text und die Ausgabe Audio ist, passt CSM 1B zu Arbeiten, bei denen Sie bereits ein Skript oder einen Textblock haben und ihn vorgelesen benötigen. Die konversationellen Stimmen eignen sich für dialogartige Inhalte, Assistenten, die antworten, oder interaktive Erlebnisse, bei denen ein natürlicher Sprechton wichtig ist. Die Vorlese-Stimmen eignen sich für Narration, das Vorlesen von Artikeln oder Dokumenten und jeden Fall, in dem eine gleichmäßige, präsentierende Vortragsweise gewünscht ist. Die Option none ist verfügbar, wenn Sie die Ausgabe nicht an eine benannte Stimme binden möchten. Da das Modell mit 1B Parametern klein ist, ist es ein vernünftiger Kandidat, wenn Sie Sprachgenerierung ohne ein großes Modell dahinter wünschen.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID sesame/csm-1b auf. Da die API dem OpenAI-Format folgt, senden Sie eine Anfrage auf die übliche Weise und setzen das Feld model auf diese ID, mit Ihrem Text als Eingabe. Die Liste der unterstützten Parameter des Modells ist leer, es gibt also keine zusätzlichen Tuning-Parameter, die über das hinaus übergeben werden müssen, was das Anforderungsformat selbst erfordert. Die Stimmwahl wird über die oben aufgeführten Stimmen bereitgestellt. Wenn Sie also einen bestimmten Vortragsstil benötigen, wählen Sie die passende Stimme, anstatt sich auf Sampling-Einstellungen zu verlassen.

Es gibt Grenzen, die Sie kennen sollten, bevor Sie sich festlegen. Das Kontextfenster beträgt 4096 Tokens und die maximale Ausgabe 3686 Tokens, sehr lange Skripte müssen also über mehrere Anfragen aufgeteilt werden. Die Ausgabe ist ausschließlich englische Sprache und die Eingabe ausschließlich Text, das Modell verarbeitet also keine Audioeingabe und keine nicht-englische Ausgabe. Wenn Ihre Aufgabe eine andere Ausgabemodalität, einen längeren Kontext oder abstimmbare Generierungsparameter erfordert, passt ein anderes Modell auf api14 möglicherweise besser.