Google: Lyria 3 Clip Preview

Google: Lyria 3 Clip Preview to model generowania muzyki od Google, część rodziny Lyria 3. Jest udostępniany przez Gemini API, a Google opisuje Lyria 3 jako swoją rodzinę modeli generowania muzyki. Model należy do kategorii audio i ma również możliwości tekstowe, więc zachowuje się jak generator multimodalny, a nie czysty model tekstowy. Jeśli budujesz narzędzia, które mają tworzyć krótkie klipy muzyczne, to oferta Google skierowana właśnie do tego zadania.

Model przyjmuje dane wejściowe w postaci tekstu i obrazu oraz może zwracać zarówno tekst, jak i audio. Oznacza to, że polecenie opisujące styl, nastrój lub instrumentację można połączyć z obrazem referencyjnym, a dane wyjściowe mogą zawierać wygenerowane audio obok tekstu. Okno kontekstu wynosi 1 048 576 tokenów, co wystarcza na długie polecenia, szczegółowe opisy lub materiał pomocniczy w jednym żądaniu. Maksymalna liczba tokenów wyjściowych to 65 536. Ten model jest wyraźnie generatorem klipów: sam Google wspomina o klipach o długości 30 sekund, więc należy oczekiwać wyników w tej krótkiej formie, a nie pełnych utworów.

Praktyczne zastosowania wynikają z długości klipu i możliwości wprowadzania obrazu. Możesz generować 30 sekundowe podkłady do wideo, intro i outro podcastów, tło do gier lub aplikacji albo treści do mediów społecznościowych. Ponieważ można dostarczyć obraz, możesz kierować generowaniem na podstawie okładki, moodboardu lub klatki storyboardu, co pasuje do procesów, w których kierunek wizualny już istnieje. Dane wyjściowe tekstowe mogą przekazywać do twojego pipeline'u treści opisowe lub pomocnicze. Zespoły, które potrzebują szybkiego pomysłu muzycznego do iteracji, a nie gotowego mastera produkcyjnego, są naturalnym odbiorcą.

Wywoływanie tego modelu przez api14 działa tak samo jak w przypadku każdego innego endpointu zgodnego z OpenAI. Użyj identyfikatora modelu "google/lyria-3-clip-preview" w swoim żądaniu. Obsługiwane parametry to max_tokens, response_format, seed, temperature i top_p. Użyj seed, gdy chcesz uzyskać powtarzalne generacje, temperature i top_p do kontroli zmienności, response_format do kształtowania zwracanych danych wyjściowych, a max_tokens do ograniczenia generowania. Ponieważ endpoint jest zgodny z OpenAI, istniejące SDK i kod klienta mogą wskazywać na api14 bez przepisywania.

Jednym ograniczeniem, o którym warto pamiętać, jest czas trwania. Model generuje 30 sekundowe klipy, więc jeśli twój projekt wymaga dłuższej ciągłej muzyki, będziesz musiał połączyć wiele generacji albo poszukać innej opcji. To także wydanie preview od Google, co warto wziąć pod uwagę, jeśli potrzebujesz gwarancji długoterminowej stabilności. Do krótkich, opartych na poleceniach lub kierowanych obrazem klipów muzycznych pasuje bezpośrednio.