¡Colores que suenan! Un artista sinestésico usa IA para crear música a partir de sus cuadros

¡Colores que suenan! Un artista sinestésico usa IA para crear música a partir de sus cuadros

Tengo sinestesia, lo que quiere decir que oigo el color.

Por eso es importante lo que escucho cuando pinto. Escucho música clásica india, cantos gregorianos y algunos compositores desconocidos como György Ligeti, Leo Ornstein y Terry Riley. La música despierta mi creatividad y me permite estar completamente presente y en ese momento.

Durante años, me ha preocupado cómo podrían sonar mis cuadros. La revolución de la inteligencia artificial me empujó a buscar expertos que pudiesen ayudarme. Mi primer punto de contacto fue Radhika Dirks, experta en IA y computación cuántica. Tuvimos un par de sesiones de Zoom y me dijo —bajo su punto de vista— que ningún programa de inteligencia artificial podía ayudarme.

En su lugar, me sugirió que crease un alfabeto visual que relacionase los acordes musicales que oía en mi mente con los colores.

Pensé que podría ser una forma de impulsar mi creatividad. También se basaba en la idea de un alfabeto inconsciente que ha inspirado mi arte a lo largo de toda mi carrera.

Me reuní con músicos y expertos en IA para crear un alfabeto visual

Empecé buscando músicos con los que colaborar y conocí a Anthony Cardella, un joven pianista de Los Ángeles increíblemente talentoso. Cardella es estudiante de doctorado en la USC [la Universidad del Sur de California, Estados Unidos] y resulta que conoce —e incluso interpreta— a muchos compositores anónimos que escucho cuando pinto.

Empezamos a colaborar. Nos sentábamos a examinar mis cuadros juntos. Yo ampliaba un color en Photoshop, lo miraba y sentía sensorialmente la nota musical. Luego se lo contaba a Anthony. Le decía, por ejemplo, creo que ese es el color de la nota Si. Él tocaba la Si y yo le decía: «No, no es esa; prueba con Si sostenido…».

Después de unas cuantas pruebas, de repente daba con las notas correctas. Yo lo sabía porque los colores empezaban a vibrar para mí. Juntos, hemos trazado acordes que corresponden a 40 colores.

Poco después, conocí a un investigador especializado en inteligencia artificial llamado Jonah Lynch a través de contactos mutuos. Lynch trabaja en la intersección de las humanidades digitales y el aprendizaje automático. Le invité a mi rancho del centro de California y le expliqué el trabajo que había estado haciendo y cómo creaba mis cuadros.

Mantuvimos largas conversaciones sobre arte, poesía y la creación de un algoritmo de IA que pudiese alimentarse de acordes.

Jonah desarrolló un programa para «leer» mis cuadros y convertirlos en música. Le di los colores principales que utilizaba en cada cuadro y los acordes que oía cuando veía esos colores. Vio vídeos míos pintando, estudió el movimiento de mis manos y escribió un programa que sampleaba imágenes de los cuadros siguiendo los movimientos de mis manos y asignaba cada color sampleado de los cuadros a su acorde correspondiente.

A continuación, introdujo esta secuencia de acordes en una red neuronal que ha memorizado la mayor parte de los últimos 500 años de música para piano. Jonah pidió a la red que «soñase» con nuevas secuencias basadas en las secuencias de colores y acordes, y en la historia de la música occidental para crear páginas de partituras.

Cuando escuché esa música, se me saltaron las lágrimas. Era solo una versión aproximada de lo que oía mientras pintaba, pero pensé: «Ahí está».

Le llevé la música a Anthony, el pianista. Sorprendentemente, podía señalar la partitura y decirle qué composiciones estaba escuchando mientras pintaba, y él me decía: «Sí, puedo verlo en los acordes». Los ragas indios, los cantos gregorianos, Ligeti y Ornstein, todo estaba ahí.

Aun así, la música era en gran medida una sucesión de acordes en esa etapa. Anthony me dijo que, si las reorganizábamos un poco, podíamos tener melodías.

La inteligencia artificial sigue siendo una herramienta que necesita supervisión humana

Hemos compuesto música para varios cuadros y la hemos interpretado para públicos de todo el mundo. El mes pasado dimos un concierto en el Forest Lawn Museum de Los Ángeles, donde también expuse algunos cuadros. El público podía mirar los cuadros mientras Anthony tocaba, lo que fue una experiencia muy intensa (un par de personas lloraron).

En la inauguración de mi última exposición, durante la semana de apertura de la Bienal de Venecia, Anthony tocó en directo el estreno mundial de una sonata que compuso inspirándose en mi cuadro, Only Through Time Time is Conquered («Solo a través del tiempo se conquista el tiempo»).

Después de la actuación, hablé con varias personas y me dijeron que podían ver dónde se encontraban los colores y las notas en el cuadro. Era algo que nunca habían experimentado.

Sé que mucha gente le tiene mucho miedo a la IA, y yo también la veo como una herramienta que necesita supervisión humana. No es un medio para un fin. Aun así, me abrió muchas posibilidades y mejoró mi proceso creativo. No sé si habría podido liberar la musicalidad de mis cuadros de una forma real sin ella.

Aquí puedes escuchar una de las composiciones a las que hace referencia Guffogg:

Lakshmi Varanasi, Ramón Armero

Deja una respuesta