Leganés, 19 de enero de 2022. Mª José Lucía Mulas es licenciada en Psicología y Ciencias Físicas por la Universidad Complutense de Madrid. Durante 27 años se dedicó al desarrollo de proyectos de Nuevas Tecnologías de la Información y la Comunicación (TIC) en Telefónica España, pasando a ejercer como profesora asociada en la Universidad Carlos III de Madrid. En la actualidad combina las labores de docencia con su colaboración como investigadora en el Centro Español del Subtitulado y la Audiodescripción (CESyA) del Real Patronato sobre Discapacidad.
Su formación y experiencia en el ámbito de la accesibilidad audiovisual para las personas con discapacidad auditiva le han llevado a obtener el título de Doctorado en Ciencia y Tecnología Informática mediante la realización de la tesis Estudio de alternativas de subtitulado accesible de estímulos sonoros no verbales para discapacidad auditiva. Mediante dicho estudio se ha analizado la estimulación emocional de los usuarios con discapacidad auditiva ante la música y los sonidos de carácter no verbal a través del subtitulado adaptado y de la transmisión vibro-táctil.
Pregunta: ¿Cuáles son los principales objetivos que ha perseguido su investigación?
Respuesta: La investigación se enmarca en el objetivo general del CESyA: facilitar al espectador con discapacidad auditiva una experiencia audiovisual lo más completa posible. Para ello se ha analizado cómo transmitir la información sobre el desarrollo de la trama que la música transmite de forma inmediata a través de la emoción. Por ejemplo, el sentido de una escena sin palabras, en la que se muestra a un personaje de espaldas, cambia totalmente dependiendo de si dicha escena va acompañada por una música alegre, triste o aterradora.
El subtitulado tradicional informa a nivel intelectual del sentido de la escena mediante etiquetas de información contextual, pero esto puede resultar insuficiente para transmitir la respuesta emocional inmediata que genera la música. En base a ello, el objetivo principal de la investigación es aportar bases científicas para generar un marco complementario de subtitulado de la música, que pueda identificar y transmitir la intención emocional mediante la estimulación vibro-táctil, un campo de investigación para mejorar la experiencia musical de las personas con discapacidad auditiva que está experimentando un gran auge en los últimos años.
P.: ¿Qué técnicas se han empleado para la obtención de datos y conclusiones?
R.: Inicialmente se ha realizado una revisión del estado del arte desde distintos campos para poner en contexto la investigación. La neurociencia explica que la emoción musical se desencadena en nuestro cerebro primitivo sin que medie un procesamiento cognitivo superior, de ahí la universalidad y la inmediatez de las emociones básicas de alegría, tristeza o miedo, que son las que mejor se identifican en la música.
Por otro lado, estudios recientes demuestran que existe una estrecha analogía entre los sentidos del oído y el tacto. El rango de percepción vibro-táctil es más limitado y menos preciso, pero el procesamiento cerebral de las características de las vibraciones sonoras y táctiles se produciría por los mismos circuitos cerebrales, por lo que la estimulación vibro-táctil podría activar las mismas áreas emocionales que la estimulación auditiva producida por vibraciones musicales.
Esto es lo que se ha querido validar en una primera fase de la investigación, registrando con técnicas EGG la actividad cerebral de grupos de sujetos experimentales con y sin discapacidad auditiva ante la presentación de imágenes de paisajes acompañadas por música, subtitulado textual, subtitulado con emoticonos y estimulación vibro-táctil. La estimulación táctil se proporcionaba mediante un guante háptico que ha desarrollado el Grupo de Displays y Aplicaciones Fónicas (GDAF) de la Universidad Carlos III de Madrid.
A partir de ello, se ha podido observar que el subtitulado textual incrementa la actividad en áreas de procesamiento cognitivo, mientras que las zonas cerebrales activadas por una experiencia audiovisual completa –al menos las que se pueden medir mediante electroencefalograma (EGG)– se activan también significativamente de forma similar durante una proyección visual sin audio, pero acompañada de una suave estimulación vibro-táctil rítmica. Los resultados alientan a considerar el canal táctil como una alternativa para la transmisión de la emoción musical para las personas con discapacidad auditiva.
Además, en una segunda fase, se ha estudiado si es posible clasificar estas emociones básicas de forma automática en fragmentos cortos de música de películas, es decir, dos segundos de metraje, suficientes para generar la emoción. En este caso las tecnologías utilizadas se han basado en la extracción de espectogramas de las muestras de audio y en el desarrollo de un modelo de clasificación automática, basado a su vez en redes neuronales convulocionales. Se han obtenido resultados de clasificación muy cercanos a los obtenidos en los estudios neurocientíficos de reconocimiento de emocion musical con sujetos.
P.: ¿De qué modo puede contribuir su estudio a la accesibilidad de las personas con discapacidad auditiva?
R.: Creemos que fundamenta que el canal vibro-táctil puede ser una alternativa para transmitir la información sobre la trama proporcionada por la banda sonora en un medio audiovisual, y así producir la intención emocional del autor en personas con discapacidad auditiva. También muestra que la música de películas puede clasificarse de forma automática en base a emociones básicas. Esto abre el camino a un subtitulado accesible de la música, complementario a los subtítulos tradicionales, que pudiera identificar la intención emocional de la música de forma automática y transmitirla mediante patrones vibro-táctiles. Asimismo, contribuye a enfocar este tipo de investigación desde un entorno multidisciplinar, que incluye la neurociencia y la teoría musical.
P.: ¿Qué otros avances se han llevado a cabo recientemente para el desarrollo y mejora de la percepción sonora no verbal?
R.: Con el auge que han experimentado los sistemas hápticos durante los últimos años se considera que la estimulación vibro-táctil tiene un enorme potencial para mejorar la percepción musical y sonora en las personas con discapacidad auditiva. La base es el diseño de dispositivos vibro-táctiles capaces de reproducir los cambios de energía de las vibraciones sonoras. En general se realiza un tratamiento de la señal de audio y se consideran distintas bandas de frecuencia. Las distintas energías de cada banda o las frecuencias fundamentales se reproducen mediante actuadores hápticos en distintas zonas del cuerpo y con distintos tipos de estimulaciones.
Así, para mejorar la calidad de experiencias, como la asistencia un concierto, se han diseñado chalecos y sillones vibro-táctiles. Para facilitar la práctica en conjuntos musicales, también se ha planteado el uso de pedales o muñequeras capaces de transmitir las vibraciones del resto de instrumentos y permitir de este modo el seguimiento del ritmo del conjunto.
En otra línea centrada en la experiencia de las personas con implante coclear, se está estudiando cómo este tipo de dispositivos pueden mejorar la discriminación y la reproducción de tonos, tanto al hablar como al cantar, además de cómo distinguir conversaciones en entornos ruidosos o cómo facilitar la compresión del habla en general.
P.: ¿Debe la accesibilidad apoyarse en el desarrollo tecnológico para obtener mejores resultados?
R.: Sin duda. Por ejemplo, en este caso, además de la investigación en el tratamiento de la señal acústica y su transmisión y percepción a través del tacto, el desarrollo tecnológico es también muy importante para obtener soluciones económicas y comercializables que puedan utilizarse fácilmente en entornos cotidianos. Resulta de suma relevancia encontrar soluciones para que los dispositivos hápticos sean baratos, adaptables al cuerpo y cómodos de usar, lo que implica tecnologías de materiales, microprocesadores, motores, baterías, comunicación inalámbrica, etc.
P.: ¿Qué barreras impiden actualmente el acceso a una experiencia audiovisual plena por parte de los usuarios con discapacidad auditiva?
R.: En esta investigación nos hemos centrado en una parte concreta de la música, la que se utiliza en las bandas sonoras para producir una emoción intensa de alegría, tristeza o miedo, y que sirve para informar sobre el desarrollo de la acción. Esperamos que se puedan generar patrones vibro-táctiles equivalentes, sin embargo, hay aspectos más difíciles de abordar, como por ejemplo la emoción estética que produce la música.
P.: ¿Qué puede contar sobre sus futuras líneas de investigación?
R.: Actualmente hay varias líneas abiertas. Por un lado, queremos avanzar en el análisis automático de las bandas sonoras de las películas para poder detectar fragmentos musicales de emoción intensa que deban subtitularse porque son importantes para la trama; por otro, una vez comprobado que el canal vibro-táctil puede ser una alternativa para la transmisión de la emoción musical, queremos trabajar en el estudio de patrones vibro-táctiles que generen las emociones básicas de alegría, tristeza y miedo.
La idea es partir de los parámetros musicales que se asocian con las distintas emociones musicales –la alegría, por ejemplo, se asocia con modo mayor y tempo rápido– e investigar su reproducción mediante estimulación vibro-táctil, pero de acuerdo con las características y limitaciones de dicho tipo de percepción.
P.: ¿Algo más que quiera añadir?
R.: Me gustaría destacar que estudios recientes demuestran que el canal táctil, y en general la estimulación multimodal, generan experiencias sensoriales más ricas, por lo que se puede avanzar en el desarrollo de herramientas creativas que mejoren la experiencia audiovisual sin limitarse al subtitulado tradicional.
Tal y como indica la reciente publicación de la revista Frontiers in Neurosicence ‘Can Haptic Stimulation Enhance Music Perception in Hearing-Impaired Listeners?’, hay que explorar cómo es la percepción musical que se genera con la estimulación táctil, dado que quizá sea mejor ofrecer formas alternativas de disfrutar de la música en lugar de ceñirse al objetivo de tratar de reproducir exactamente la experiencia musical convencional.
Para más información visite:
CONTACTO DE PRENSA:
Centro Español del Subtitulado y la Audiodescripción
Área de Comunicación
916 24 40 31
