Explainable Artificial Intelligence for Industrial Anomaly Diagnosis in Multi-Sensor Data

Abstract

This thesis explores the potential of Explainable Artificial Intelligence (XAI) in the context of time-series anomaly detection and diagnosis. By enhancing the transparency of traditionally opaque models and offering immediate and intelligible explanations, we have set the stage for more informed decisionmaking processes across diverse sectors. Prior to our practical exploration, we reviewed the existing literature on XAI, anomaly detection, and diagnosis. Then, our experiments start with a study of the Counterfactual Explanation Method (CEM) in time-series tasks. This investigation revealed both the advantages and limitations of CEM. Acknowledging its shortcomings, particularly its time-consuming nature. Then, we present the Real-Time Guided Counterfactual Explanations (RTGCEx) method. This innovative method is a model-agnostic approach that provides user-driven counterfactual explanations in real-time across different domains and data types. Afterward, to avoid losing essential information that anomaly detectors might contain and that model-agnostic methods might miss, we address the challenge of creating intrinsically interpretable models. To achieve this, we first introduce the Diagnostic Fourier-based Spatio-temporal Transformer (DFSTrans). This tool combines the capabilities of 1D Convolutional Neural Networks with a Transformer-inspired structure. This model effectively learns spatial and temporal dependencies in multivariate sensor data, proving to be a potent tool for diagnosing anomalies. Recognizing the challenges associated with obtaining labeled data, we developed an unsupervised variant, termed uDFSTrans. This model incorporates a dual strategy: a multi-masking technique and a context-oriented attention mechanism, facilitating the detection and elucidation of anomalies without the necessity for labeled data.

Tesi honek Explainable Artificial Intelligence-ek (XAI) denborazko serieetan anomaliak detektatzeko eta diagnostikatzeko duen ahalmena aztertzen du, Tesiak tradizionalki opakoak izan diren ereduen gardentasuna handitzean eta berehalako azalpen ulergarriak ematean hainbat sektoretan erabakiak hartzeko prozesu informatuagoak egiteko oinarriak ezartzen ditu. Gure ahalegin esperimentalen aurretik, XAIri, anomalien detekzioari eta diagnostikoari buruz argitaratutakoa berrikusten da. Miaketa praktikoa denborazko serieen datuetan zentratutako Contrastive Explanation Method (CEM) algoritmoaren azterketarekin hasten da. Ikerketa honek CEM-en abantailak eta mugak erakusten ditu, eta bere gabeziak ezagutzean, zeinetatik geldotasuna nabarmentzen den, Real-time Guided Counterfactual Explanations (RTGCEx) izeneko metodoa aurkezten da. Eredu berritzaile hori azaldu beharreko modeloarekiko agnostikoa da eta erabiltzaileak gidatutako azalpenak denbora errealean ematea ahalbideratzen du hainbat domeinu eta datu motatarako. Gure xedea anomalia detekziorako ereduen erabakiak zertan oinarritzen diren azaleratzea denez eta modelo agnostikoek barne funtzionamenduari erreparatzen ez diotenez, berez interpretagarriak diren eruduak sortzeko erronkari heltzen zaio informazio garrantzitsua gal ez dadin. Behar horri erantzuteko, lehenik eta behin, Diagnostic Fourier-based Spatio-temporal Transformer (DFSTrans) algoritmoa proposatzen da. Tresna honek dimentsio bateko sare neuronal konboluzionalen gaitasunak eta Transformerretan oinarritutako egitura bat konbinatzen ditu. Eredu honek aldagai anitzeko sentsoreen datuen mendekotasun espazialak eta tenporalak eraginkortasunez ikasten ditu anomaliak diagnostikatzeko tresna indartsua dela erakutsiz. Etiketatutako datuak lortzeko zailtasunak medio, uDFSTrans izeneko aldaera ez superbisatu bat garatzen dugu; izan ere, eredu honek, modu ez superbisatuan anomaliak antzeman eta diagnostikatzeko estrategia bikoitza erabiltzen du: maskaratzeteknika bat eta testuingurura bideratutako arreta-mekanismo bat.

Esta tesis explora el potencial de la Inteligencia Artificial Explicable (XAI) en el contexto de la detección y diagnóstico de anomalías en series temporales. Al aumentar la transparencia de modelos tradicionalmente opacos y ofrecer explicaciones inmediatas e inteligibles, hemos sentado las bases para procesos de toma de decisiones más informados en diversos sectores. Antes de empezar con la fase experimental, revisamos la literatura existente sobre XAI, detección de anomalías y diagnóstico de anomalias. La exploración práctica comienza con un estudio del algoritmo Contrastive Explanation Method (CEM) en tareas de series temporales. Esta investigación revela tanto las ventajas como las limitaciones del CEM. Tras reconocer sus deficiencias, en particular su lentitud, presentamos el método llamado Real-time Guided Counterfactual Explanations (RTGCEx). Este innovador método es un enfoque agnóstico del modelo que proporciona explicaciones contrafácticas guiadas por el usuario en tiempo real para diferentes dominios y tipos de datos. Posteriormente, para evitar la pérdida de información esencial que podrían contener los detectores de anomalías y que los métodos agnosticos podrían pasar, abordamos el reto de crear modelos intrínsecamente interpretables. Para ello, presentamos en primer lugar el algoritmo Diagnostic Fourier-based Spatio-temporal Transformer (DFSTrans). Esta herramienta combina las capacidades de las redes neuronales convolucionales 1D con una estructura inspirada en los Transformers. Este modelo aprende eficazmente las dependencias espaciales y temporales de los datos temporales multivariantes, demostrando ser una potente herramienta para diagnosticar anomalías. Reconociendo las dificultades asociadas a la obtención de datos etiquetados, desarrollamos una variante no supervisada, denominada uDFSTrans. Este modelo incorpora una doble estrategia: una técnica de multienmascaramiento y un mecanismo de atención orientado al contexto, que facilita la detección y elucidación de anomalías sin necesidad de datos etiquetados.