Explicabilidade do modelo de aprendizado de máquina apoiada pela explicabilidade de dados: uma abordagem baseada em proveniência

• Ano de defesa: 2023
• Autor(a) principal: Oliveira, Rosana Leandro de
• Orientador(a): Cordeiro, Kelli de Faria, Duarte, Julio Cesar
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Instituto Militar de Engenharia (IME)
• Palavras-chave em Português: IA Explicável; Proveniência; Pré-Processamento; PROV-DM
• Link de acesso: https://www.repositorio.mar.mil.br/handle/ripcmb/846419

As soluções de Inteligência Artificial, especialmente aquelas relacionadas ao Aprendizado de Máquina (AM), têm alcançado níveis notáveis de desempenho devido ao contínuo avanço da capacidade computacional, à disponibilidade abundante de dados e à evolução dos métodos de aprendizado. Em consequência, os modelos de AM se tornaram cada cada vez mais complexos e sofisticados, comprometendo a compreensão humana sobre os resultados alcançados. A fim de aumentar a interpretabilidade dos modelos de AM surgiu a IA Explicável, do inglês Explainable AI (XAI). A XAI é de fundamental importância para aumentar a confiança nas predições de AM, e tornou-se de uso crucial para interpretação, principalmente nos modelos preditivos em áreas críticas. Para proporcionar um melhor entendimento sobre os dados, a proveniência dos dados oferece uma explicação sobre sua origem e sua derivação. Algumas pesquisas já exploram a utilização de informações sobre a proveniência dos dados em diversas fases do ciclo de AM para contribuir com a explicabilidade, no entanto, existe ainda uma lacuna na relação entre os dados de proveniência e a explicabilidade do modelo fornecida pelas técnicas de Inteligência Artificial Explicável (XAI). Com o intuito de solucionar essa questão, este estudo propõe a Explainable Machine Learning Model supported by Pre-processing Provenance (xMML-PPP), uma abordagem para capturar os dados de proveniência, especialmente durante a fase de pré-processamento, e relacioná-los com os resultados das técnicas de explicabilidade. Para isso, também foi proposto um modelo de dados relacional que serve como base para o nosso conceito de explicabilidade de dados. O principal objetivo é aumentar a explicabilidade dessas técnicas, complementando-as com informações provenientes da fase de pré-processamento. Para aplicação da abordagem, foi desenvolvida uma ferramenta xMML-PPP Tool, onde diversas informações do ciclo são capturadas, inclusive da fase de pré-processamento, e armazenadas no xMML-PPP Prov, repositório utilizado pela ferramenta para armazenamento dos dados capturados, onde, por meio de consultas aos dados armazenados no xMML-PPP Prov, as informações são recuperadas. A abordagem foi avaliada por meio de dois estudos de caso, nos quais foram realizados dois experimentos com configurações distintas para cada um dos estudos de caso. Isso viabilizou a análise do comportamento da explicabilidade em diferentes cenários. Os modelos foram treinados utilizando a xMML-PPP Tool com o algoritmo Random Forest, e o método de explicabilidade SHAP foi aplicado. Os resultados dos experimentos apresentaram que a melhoria na explicabilidade dos modelos de AM foi alcançada principalmente por meio da compreensão da derivação dos atributos que constituíram o modelo, enriquecida pela explicabilidade de dados.