Google introduce MusicLM, una IA para generar música

Google ha publicado un paper describiendo la tecnologia detrás de MusicLM, una IA “text-to-music” capaz de generar música de alta calidad a partir de descripciones textuales como por ejemplo La banda sonora principal de un juego de arcade. Es de ritmo rápido y optimista, con un pegadizo riff de guitarra eléctrica. La música es repetitiva y fácil de recordar, pero con sonidos inesperados, como golpes de platillos o redoble de tambores. El resultado de éste y otros prompts están disponibles en Google Research.

Google ha publicado un dataset de 5.5k ejemplos y aunque no ha publicado el código fuente ya hay algunas implementaciones open source del algoritmo.

Fuente: google-research.github.io

por slnc
18 Feb 2023, 09:01

slnc

18 Feb 2023, 09:03

Los ejemplos “Audio Generation From Rich Captions” me parecen muy resultones, especialmente comparados con el output de otras IAs text-to-music.

Esto vendría genial para generar la banda sonora de LasTinieblas.

Lo que no tengo claro leyendo el paper es si Google ha generado los ejemplos que han publicado solo a partir del dataset de 5.5k o de uno mayor.

🎩 Logancito

19 Feb 2023, 12:26

Uf pues ahora que estoy ahondándome en el mundo de la composisión y producción musical, me gustaría saber cómo a partir de una descripción textual, va a hacer la selección de instrumentos, sonidos de éstos, o sin embargo se va a apoyar en algun pack de VST.

Cómo mola el puto mundo de las IA’s.

slnc

20 Feb 2023, 11:34

Comentario #2 por Logancito:
Uf pues ahora que estoy ahondándome en el mundo de la composisión y producción musical, me gustaría saber cómo a partir de una descripción textual, va a hacer la selección de instrumentos, sonidos de éstos, o sin embargo se va a apoyar en algun pack de VST.

Cómo mola el puto mundo de las IA’s.

No te sabría decir, no he encontrado explainer videos que expliquen con un nivel de complejidad de entre el paper (que es demasiado técnico para mi nivel) y los anuncios (“Es un modelo ML que genera música a partir de texto”).

Comentario #1 por slnc:
Los ejemplos “Audio Generation From Rich Captions” me parecen muy resultones, especialmente comparados con el output de otras IAs text-to-music.

Esto vendría genial para generar la banda sonora de LasTinieblas.

Lo que no tengo claro leyendo el paper es si Google ha generado los ejemplos que han publicado solo a partir del dataset de 5.5k o de uno mayor.

Respondiéndome, parece que lo entrenaron usando por un lado 280k horas de música disponible en Free Music Archive, y 5,500 tracks etiquetadas por ingenieros (fuente).

🎩 Logancito

28 Feb 2023, 08:42

Comentario #3 por slnc:
#2 No te sabría decir, no he encontrado explainer videos que expliquen con un nivel de complejidad de entre el paper (que es demasiado técnico para mi nivel) y los anuncios (“Es un modelo ML que genera música a partir de texto”).

#1 Respondiéndome, parece que lo entrenaron usando por un lado 280k horas de música disponible en Free Music Archive, y 5,500 tracks etiquetadas por ingenieros (fuente).

pues de ese entrenamiento chopeó los sonidos para usarlo en sus composiciones, respondida mi duda