Każdy, kto miał okazję „pobawić się” Copilotem, Gemini czy chatGPT od OpenAI doskonale wiedzą czym jest tak zwany „prompt”. W skrócie – to instrukcja dla generatora, co właściwie chcemy, aby dla nas stworzył. Chcąc, aby wybrany model wygenerował dla nas obrazek, musimy wpierw podać mu „przepis” na to, co chcemy na nim zobaczyć. W ten sposób np. DALL-E, jeden z najpopularniejszych modeli typu tekst-obraz, jest w stanie wygenerować grafikę odpowiadającą naszym potrzebom. NVIDIA natomiast, ze wsparciem naukowców z całego świata, przygotowała podobny model, ale tym razem chodzi o to, aby z tekstowego promptu powstał opisany w nim dźwięk. Model ochrzczono mianem Fugatto.

Foundational Generative Audio Transformer Opus 1, czyli w skrócie Fugatto, może zostać wykorzystany na więcej niż jeden sposób. Oprócz tworzenia plików audio z tekstowej instrukcji, model może również modyfikować istniejące pliki dźwiękowe, w tym muzykę. Nie jest to co prawda pierwsza taka technologia, gdyż nad podobnym modele pracowali już chociażby Meta oraz Google. NVIDIA chce natomiast, aby Fugatto był jeszcze bardziej kompleksowy i wielojęzykowy.

Celem badaczy i muzyków biorących udział w projekcie było stworzenie modelu, który będzie rozumiał dźwięk i muzykę w sposób podobny ludziom. Fugatto będzie mógł na przykład dodać do ścieżki nowy instrument albo usunąć z niej inny, a nawet zmienić ładunek emocjonalny w głosie. W ten sposób twórcy upatrują szansy, aby Fugatto stał się technologią umożliwiającą np. szybkie tworzenie prototypów utworów, szukania inspiracji i szybkiego modyfikowania ich, z jednoczesnym poprawianiem jakości nagrania oraz dodawania do niego rozmaitych efektów. Mało tego, wszystkiego będzie można dokonać „w locie”. Możliwości modelu możecie zobaczyć poniżej.

Ido Zmishlany, jeden z producentów muzycznych, członek NVIDIA Inception, porównuje Fugatto do pojawienia się gitary elektrycznej, która z kolei stworzyła rock nad rolla czy samplera, bez którego nie byłoby rapu. Według niego to nowy instrument, nowe narzędzie do tworzenia muzyki.

NVIDIA na razie nie zdradziła, czy i ewentualnie kiedy Fugatto miałoby trafić do szerszej społeczności.

Źródło: nvidia

fot. tytułowe: nvidia