Un equipo multidisciplinar formado por expertos del Instituto Andaluz Interuniversitario en Ciencia de Datos e Inteligencia Computacional (DaSCI), del grupo "Soft Computing and Intelligent Information Systems (SCI2S)" de la Universidad de Granada (UGR) y la Fundación Descubre ha diseñado un sistema informático basado en inteligencia artificial que aúna algoritmos matemáticos, descripciones artísticas y la participación ciudadana para identificar elementos arquitectónicos en monumentos.

En concreto, han configurado un algoritmo que, con la colaboración de cualquier persona anónima que colabora aportando fotos al sistema, detecta la existencia de elementos arquitectónicos en dichas fotografías. Para ello, primero hace una lectura general de la imagen y la divide en distintas partes. En cada una de ellas procesa toda la información que contiene y rastrea en busca de objetos conocidos. En caso de detectarlos, señala, procesa e identifica ese dato.

Para comenzar a trabajar en la identificación de las partes estructurales y decorativas de una obra arquitectónica, los expertos han mostrado al sistema ejemplos de imágenes supervisadas. De este modo, han creado una base de datos que dispone ya de unos 4.000 elementos. "Este trabajo de campo sigue activo, puesto que es un banco de recursos abierto en el que el algoritmo, diseñado por investigadores y divulgadores científicos, va aprendiendo, mejorando y actualizándose a partir de nuevas fotografías enviadas por cualquier persona desde su teléfono móvil. La participación de la ciudadanía en este proyecto es un pilar esencial porque es quien aporta una gran parte de los materiales con el que trabaja el sistema", explica una de las autoras de este trabajo y directora de la Fundación Descubre, Teresa Cruz.

Como recoge el artículo titulado "MonuMAI: Dataset, deep learning pipeline and citizen science based app for monumental heritage taxonomy and classification" y publicado en la revista Neurocomputing, este sistema se basa en el denominado "deep learning". Este método de aprendizaje trabaja con redes neuronales artificiales, de la misma forma que lo hace el cerebro humano. "El procedimiento es el mismo que se emplea cuando se le enseña a un niño a identificar objetos mediante la observación. Se le muestra una taza y se le nombra taza, de modo que cuando vea ese objeto en otro momento y en otro contexto, lo reconozca, sepa qué es y lo asocie a ese término concreto", explica a la Fundación Descubre el investigador de la UGR Alberto Castillo, que además es investigador del DaSCI y co-autor del estudio.

Actualmente, este algoritmo está programado para ofrecer principalmente información sobre el estilo arquitectónico detectado a partir del color, estructura, forma, fondo o textura, al mismo tiempo que aporta datos sobre proporción y simetrías. No obstante, su comportamiento depende de la definición previa que se le marque, del etiquetado establecido a priori por los expertos, para aportar información detallada y precisa.

Otra particularidad de este algoritmo es su inmediatez. El tiempo estimado para procesar una imagen es de 0,15 segundos y el de espera hasta que recopila la información concreta del elemento arquitectónico detectado no llega a los dos segundos. "Son fracciones de tiempo muy cortas, pero nuestro interés es reducirlos de modo que los datos descriptivos de la imagen lleguen a su receptor en tiempo real", asegura Castillo.

En este trabajo, las matemáticas se relacionan con la inteligencia artificial por partida doble. "Por un lado, da soporte a los algoritmos de reconocimiento visual y a los métodos con los que se trabaja. Al mismo tiempo forman parte de los métodos de razonamiento que permite clasificar los estilos", matiza Álvaro Martínez- Sevilla, investigador del DaSCI y director del proyecto Paseos Matemáticos. Este estudio multidisciplinar es fruto de la combinación de cuatro áreas -matemáticas, arte, inteligencia artificial y colaboración ciudadana- diferentes pero al mismo tiempo complementarias en un sistema como éste. "Éste es ejemplo de un trabajo interdisciplinar donde la inteligencia artificial se pone al servicio de la ciudadanía para valorar mejor aspectos del patrimonio y en este caso concreto de monumentos", asegura el catedrático de Ciencias de la Computación e Inteligencia Artificial y director del DaSCI, Francisco Herrera.

Con el objetivo de comprobar la usabilidad y el rendimiento de este algoritmo, los expertos han desarrollado una aplicación web para teléfonos móviles android e iOS y una página web denominadas MonuMAI, acrónimo que unifica los ámbitos de estudio y trabajo sobre los que se erige este sistema: monumentos, matemáticas e inteligencia artificial.

Ambas plataformas se retroalimentan entre sí porque dicha página web muestra información generada por la aplicación móvil, en concreto las imágenes procesadas de los monumentos, y al mismo tiempo, la app recopila todos los contendidos de la web relativos a cada rama de investigación, explicación sobre el proyecto y también las fotografías de los usuarios.

En concreto, la app está compuesta por una biblioteca que reúne todos los elementos que va registrando y dos algoritmos cuyas funciones son detectar esos objetos y aportar información sobre los mismos. Uno de ellos lo hace sobre el estilo arquitectónico y otro acerca de los elementos que contenga la imagen. "Estas características hacen de MonuMAI la primera app mundial que extrae conocimiento experto y lo ofrece directamente al usuario final", afirma el investigador Alberto Castillo.

Una vez descargada la aplicación, cualquier persona interesada puede subir una foto propia de un monumento determinado, como hemos indicado anteriormente. De esta forma, participan activa y directamente en dicho proyecto colaborativo de ciencia ciudadana donde actúan como ciudadanos-investigadores. Así, contribuyen a mejorar el sistema porque el algoritmo aprende cada vez más y proporcionan información actualizada con la aportación continua de datos, en este caso imágenes.

El servidor, tras recibirla y procesarla de forma automática, la devolverá con información detallada de los elementos arquitectónicos de los estilos que conoce. Hasta ahora, identifica elementos de estilos artísticos de toda Europa, incluyendo los de la Andalucía Medieval y de la Edad Moderna, como el hispanomusulmán, renacentista, barroco o gótico, e incluso objetos encontrados en monumentos de Francia e Italia.

Además, aporta información detallada acreditada por investigadores de arte y matemáticas andaluces. "A diferencia de otras app o programas con fines similares, no redirige a otras páginas web que ofrecen contenido explicativo, sino que los datos que presenta son propios. De hecho, son generados por una inteligencia artificial que ha aprendido del conocimiento experto que le hemos proporcionado", matiza Castillo.

Para compartir todos los conocimientos con la ciudadanía, los expertos han habilitado la mencionada página web donde se pueden ver imágenes enviadas por otros usuarios. "Pueden observar los diferentes elementos arquitectónicos a golpe de click, como si se tratara de una biblioteca artística online", señala Castillo.

El objetivo de este equipo de trabajo es continuar con la mejora del sistema y otorgarle otras funciones adicionales. En concreto, estudian la posibilidad de trabajar en el diseño de nuevos algoritmos que recomienden la visita de monumentos cercanos del que están solicitando información a través de MonuMAI.