Sonificación de datos para la supervisión de procesos en tiempo real / 1

Feb 5, 2019   //   by Sara Lenzi   //   Interacción  //  Comentarios desactivados en Sonificación de datos para la supervisión de procesos en tiempo real / 1

La sonificación de datos es una práctica de representación de datos (numéricos y no numéricos) activa desde los años 90, aunque sea a hoy día casi desconocida. Se define como el uso del sonido no-verbal para representar datos cualitativos y cuantitativos y opera según algunas reglas que identifican algunas metodologías específicas (Audification, Parameter Mapping, Modelling) de las que tendremos ocasión de hablar en otro “post”.

De todas las formas y aplicaciones que la traducción de datos en sonidos ha tomado en los últimos años (por ejemplo, la sonificación de la actividad en Wikipedia, o de las imágenes de las madrugadas marcianas), las alarmas sonoras parecen “a primera vista” un sector demasiado tradicional, y poco interesante desde el punto de vista de la innovación.

Por otro lado, si pensamos en ejemplos típicos de las formas de sonificación que van bajo la categoría de alarmas, su eficiencia y eficacia nos parece evidente. Tomamos el contador Geiger, que emite un sonido muy simple para indicar el nivel de radiación en las inmediaciones del usuario (cuanto más rápido es el sonido, mayor es el nivel de radiación); o el Sonar, en el que una onda sonora enviada por un sistema agente es refleja por un obstáculo indicando así su presencia: una vez más, cuanto más rápido el sonido de vuelta, cuanto más cerca será el obstáculo. Definitivamente, el contador Geiger y el Sonar se encuentran entre los casos más exitosos y perdurables de sonificación de datos, como se menciona en el primer capítulo de The Sonification Handbook [1]. Son parte de nuestra memoria colectiva, hasta el punto de que no parecen presentar ninguna posibilidad de innovación ya sea desde la perspectiva del diseño o la teórica.

Esto ha sido así, hasta la irrupción del análisis y modelización de datos basados en tecnología de Inteligencia Artificial, aplicada en casos concretos, especialmente, en el ámbito de la Ciberseguridad. El incremento de su aplicabilidad  se va volviendo imparable e indiscutible: en estos sectores, el análisis de la información en tiempo real se realiza cada vez más aprovechando los algoritmos de Inteligencia Artificial, entrenados para detectar comportamientos anómalos en el flujo de datos que provienen, en cada instante, por ejemplo, de una red Internet.

De esta forma, el monitoreo y control de procesos se ha convertido en una frontera extremadamente innovadora del desarrollo y la aplicación de la IA a las tareas diarias de los centros de operación y control en todo el mundo. Lo que estos algoritmos nos permiten hacer es, no solo tener una mejor comprensión de los datos históricos, sino, lo que es más importante, según su modelo del estado ideal del sistema, aprenden a detectar cualquier comportamiento anómalo, lo que hace posible que los operadores humanos puedan comprender en tiempo real si, por ejemplo, se está produciendo un ataque cibernético. Y aún más importante, permiten a los seres humanos hacer predicciones sobre la evolución del ataque o las anomalías.

Desde el punto de vista del “information design”, el desarrollo de las aplicaciones de IA al monitoreo en tiempo real y a la ciberseguridad nos llevan a plantear una primera diferencia – sónicamente y conceptualmente – entre una alarma y una alerta. Una alarma es algo que escuchamos después de que ocurrió el incidente [2], es decir, escuchar la alarma de incendio significa que ya hay un incendio en el edificio, y solo podemos salir del edificio cuanto antes. No podemos hacer nada allí, mejor que nos vayamos. Una alerta, sin embargo, debería ser algo que nos brinde información sobre cuán seriamente es la posibilidad de que un problema esté ocurriendo ahora mismo, o dentro algunos minutos, o horas, para que podamos actuar antes que la situación sea fuera de nuestro control. Es decir, todavía estamos en la posición de hacer algo, evitando que el misil se dirija hacia nosotros o retrocediendo desde dónde el nivel de radiación parece estar aumentando. Los contadores y sonares Geiger son alertas, no alarmas.

Desde el punto de vista de una diseñadora de sonido, que investiga la creación de sistemas de sonificacion de datos (como es quien escribe), esta simple distinción nos abre las puertas a la innovación conjunta en el campo de los sistemas de detección de anomalías y de los sistemas de representación y comunicación de estas anomalías al usuario final, el operador de centro de seguridad (SOC) de manera la más eficaz y directa posible.

En  Ibermática estamos desarrollando un sistema integrado de alertas sonoras en el campo de las alarmas sonoras para sistemas inteligentes de monitoreo en tiempo real. En un sector donde la representación de datos consta típicamente de una interfaz visual y de texto, y seguramente la primera pregunta de quien lee es…

…Porque el sonido?

  • La Inteligencia Artificial como se describe aquí, se usa hoy en día para monitorear procesos digitales o físicos / digitales como las operaciones de red ante amenazas de ciberseguridad, producción industrial, exámenes médicos. En estos entornos, los seres humanos están expuestos a una sobrecarga de información continua.

El sonido puede liberar cierta información del canal visual (que requiere nuestra atención total y “central”) y hacer uso de una herramienta periférica de monitoreo a través del canal auditivo [3] que se mantenga en segundo plano al mismo tiempo manteniendo a los operadores informados de manera integral sobre el estado del mismo sistema. El comportamiento de este sonido en caso de anomalía puede desencadenar una respuesta en el usuario y poner la información en el centro de atención para una acción adicional.

  • El contador Geiger representa una única variable de un conjunto de datos específico (el nivel de radiación asignado a la frecuencia en el tiempo del sonido reproducido). Pero, ¿qué sucede con los conjuntos de datos complejos y multivariables (que son la mayoría en IA) donde tenemos múltiples flujos de datos organizados jerárquicamente en capas de granularidad diferente, y más de una variable por datos para representar?

Una vez más, las características físicas del sonido tiene un potencial muy alto respeto a los artefactos visuales. El sonido es múltiple en su propia naturaleza: una serie de parámetros acústicos se organizan en una secuencia basada en el tiempo donde cada unidad maneja múltiples características: frecuencia (tono “acuto” o grave), amplitud (volumen alto o bajo), ritmo, timbre (los diferentes instrumentos musicales, por ejemplo). Además, el oído humano puede distinguir bastante bien una sola unidad sonora con sus características individuales cuando sea oída juntas a otras unidades. Pensemos en la música, donde distinguimos una voz de una guitarra o un piano; o un paisaje sonoro natural donde distinguimos las aves de los árboles o el agua. Ahora pensemos en la misma estrategia de representación de datos de fenómenos complejos que fluyen en el tiempo.

Por último, en la aplicación del sonido a la monitorización en tiempo real de procesos, por cuanto sea prometedora, hay algunos desafíos específicos de diseño que debemos tener en cuenta:

  • ¿Cómo se diseña una sonificación viable que debe ser escuchada por un ser humano 8 horas al día, todos los días? ¿Es esto recomendable, o podríamos usar el sonido para enviar un “resumen” de actividad por hora?
  • ¿Cómo se debe diseñar el sonido para que al mismo tiempo sea audible, pero no agresivo o molesto? ¿O molestar a otras personas que no están preocupadas por el monitoreo? y así sucesivamente y así sucesivamente.
  • ¿Qué pasa si al operador le gusta escuchar su propia música durante el día de trabajo? ¿Pueden coexistir las dos cosas? ¿Qué pasa si se van a tomar un descanso para tomar un café, a la hora del almuerzo, a una reunión?
  • ¿Deberían los sonidos que tienen que representar algo potencialmente peligroso… asustarnos?
  • ¿Qué es un sonido alarmante, de toda manera? Si estamos caminando en un bosque silencioso, incluso el más leve sonido de un animalito que se mueve en un arbusto es alarmante. ¿Podemos aprovechar esta experiencia humana para diseñar sistemas de alerta convincentes?
  • Y, si usamos música (o sonidos “afinados”), ¿estos son interculturales o damos por sentado estereotipos que no son compartidos por todos los seres humanos?

Todos estos son problemas de diseño específicos; son los detalles que debemos tener en cuenta trabajando al diseño de un sistema integrado de monitorización en tiempo real de anomalías (ciberseguridad) soportado por machine learning. En un próximo “post” veremos qué otros desafíos están surgiendo del el trabajo conjunto de expertos de Inteligencia Artificial, analistas de datos y expertos de “information design” en Ibermática.

 

Bibliografía:

[1] Hermann, T., Hunt, A., & Neuhoff, J. G. (2011). The Sonification Handbook. The Sonification Handbook. https://doi.org/10.1017/CBO9781107415324.004

[2] Hildebrandt, T., Hermann, T., & Rinderle-Ma, S. (2016). Continuous sonification enhances adequacy of interactions in peripheral process monitoring. In International Journal of Human Computer Studies (Vol. 95, pp. 54–65). Elsevier. https://doi.org/10.1016/j.ijhcs.2016.06.002

[3] Bakker, S., van den Hoven, E., & Eggen, B. (2011). Knowing by ear: Leveraging human attention abilities in interaction design. Journal of Multi-Modal Interfaces

Comments are closed.