En palabras de Cheryl Platz, la autora del libro Design beyond devices, una interacción multimodal es aquella donde exista cualquier intercambio de información entre una persona y una máquina en la que puedan usarse múltiples modos de entrada y salida de forma alternativa.
“Any exchange between a device and a human being where multiple input or output modalities may be used simultaneously or sequentially depending upon context and preference.”
Design beyond devices, Cheryl Platz, 2020
Interacción multimodal
El diseño de interacción multimodal es algo que existe casi desde la creación de la primera interfaz gráfica de usuario y de las primeras pruebas con interfaces por voz. Dar la posibilidad a las personas de elegir según su contexto y necesidades una u otra forma de comunicar preferencias a un dispositivo y la forma de recibir la información de respuesta ha demostrado ser un paradigma más eficiente y más accesible.
La interacción es más eficiente en el momento en el que podemos adecuar el modo de entrada y salida a la tarea. Seremos capaces de expresar mediante el habla ciertas peticiones mucho más rápido de lo que las podemos escribir, por ejemplo, si quisiéramos conocer ¿Quién dirigió una película? una instrucción por voz es más rápida que explorar, buscar, filtrar y clicar múltiples veces. Por otro lado, seremos capaces de escanear visualmente muchos más datos de un vistazo que lo que tardaríamos en escucharlos, por lo que si quisiéramos descubrir o comparar películas en un catálogo, la exploración visual se hace mucho más práctica.
Además, la interacción multimodal, al ofrecer alternativas en los modos de entrada y salida, permite crear experiencias más accesibles donde cada persona podrá adecuar el modo según sus propias preferencias. Así, podría usarse el habla, los gestos o el movimiento del ratón o teclado alternativamente dependiendo de las capacidades cognitivas de que dispongamos sin que esto suponga ninguna barrera.
Modelos multimodales
Más recientemente, con la publicación de los grandes modelos del lenguaje y sus aplicaciones cercanas estamos volviendo a escuchar este adjetivo de multimodal.
Los modelos multimodales son capaces de usar múltiples elementos de información, como texto, imágenes, vídeos, audios, etc. para analizarlos de forma conjunta. Este enfoque les permite mejorar el modelo de aprendizaje automático imitando cómo un humano experimentaría el mundo a su alrededor: desde múltiples sentidos.
La importancia del contexto
Sin duda, una de las características de la interacción y los modelos multimodales es la relevancia que adquiere el entendimiento del contexto para poder otorgar significado a cualquier petición que hagan las personas a una máquina y para poder decidir qué modo de salida es el más adecuado para según qué tipo de información.
Por ejemplo, mientras conducimos habrá ocasiones en que piloto y copiloto interactúen de forma simultánea con el mismo dispositivo, mientras una persona tendrá la posibilidad de hacerlo por voz otra persona podría permitirse tocar una pantalla. Cualquiera que sea el modo e independientemente de quien lance la petición, la máquina debe ser capaz de entenderlo todo dentro de un contexto único y ofrecer una respuesta sincronizada, coherente y que no compita con la atención de la persona en ningún momento.
Estos principios de diseño pueden aplicarse a más industrias donde las fuentes de información están más distribuidas y la interlocución es más compleja como, por ejemplo, en el sector sanitario, en la industria del entretenimiento o en el sector educativo.
Allá donde existan personas diversas y necesidades de información heterogéneas, las interacciones y los modelos multimodales ofrecen grandes oportunidades de crear experiencias más eficientes y accesibles, donde las máquinas sean capaces de entendernos mejor y aportar un valor significativo a nuestras vidas.
