XAI: Inteligência Artificial Explicável para Decisões de Segurança
Por que Explicabilidade É Crítica em Segurança
Um modelo de ML que detecta anomalias sem explicação é uma caixa preta que gera alertas misteriosos. O analista de SOC não sabe se deve confiar ou ignorar. XAI (Explainable AI) conecta a decisão do modelo ao entendimento humano: “este usuário foi flagrado porque fez 47 downloads de documentos confidenciais em 10 minutos, acesso 3x acima de sua média histórica, de um IP nunca visto antes”. Com essa explicação, o analista investiga com contexto e confiança — e o modelo se torna uma ferramenta, não um oráculo.
📊 XAI em Segurança — 2025
Principais Técnicas de XAI
SHAP (SHapley Additive exPlanations): calcula a contribuição de cada feature para cada previsão individual — baseado em teoria dos jogos (Shapley values). TreeSHAP é 100x mais rápido para modelos tree-based. LIME (Local Interpretable Model-agnostic Explanations): aproxima o modelo complexo localmente com um modelo simples (linear) para cada previsão. Counterfactual Explanations: “o alerta não teria sido gerado se o download tivesse ocorrido no horário comercial” — intuitivo para não-técnicos. Attention Visualization: para modelos de Transformer, mapas de atenção mostram quais partes do input foram mais importantes.
SHAP Values
Para cada alerta: waterfall plot mostra quais features aumentaram ou diminuíram o score de risco. Analistas veem exatamente o “porquê”.
LIME
Modelo local interpretável aproxima o classificador na vizinhança do ponto de interesse. Agnóstico a framework — funciona com qualquer modelo.
Counterfactual
“Se o user_agent fosse o habitual, o risco cairia de 95 para 30”. Explicação acionável que guia investigação e remediação.
Global vs Local
Importância global de features mostra o modelo em geral; SHAP local mostra a decisão específica. Ambos são necessários.
Dashboards XAI
Integre SHAP values no SIEM/UEBA dashboard: analista vê o score E a explicação no mesmo painel sem sair do workflow.
Compliance XAI
EU AI Act e regulação financeira exigem que decisões automatizadas sejam explicáveis. XAI documenta conformidade automaticamente.
⚠️ Limitações do XAI que Você Deve Conhecer
TreeSHAP é rápido para árvores, mas SHAP para redes neurais pode ser lento demais para serving em tempo real. Use background samples.
LIME aproxima localmente — a explicação pode não capturar corretamente o comportamento do modelo em regiões diferentes do espaço.
Um modelo errado com boa explicação ainda é errado. XAI revela o que o modelo usa, não se as features certas estão sendo usadas.
Atacantes sofisticados podem construir payloads que têm alta explicação benigna mas comportamento malicioso real. Monitore feature drift.
Confiança em IA não vem de performance em benchmark — vem de entender por que o modelo tomou cada decisão. XAI constrói essa confiança.
— iSecPlus AI Explainability Team, 2026
Implementando XAI em Pipelines de Segurança
Para modelos tree-based (XGBoost, LightGBM, Random Forest): use shap.TreeExplainer — rápido e exato. Gere waterfall plots para cada alerta e serialize os SHAP values com o ticket de investigação. Para redes neurais: shap.DeepExplainer ou shap.GradientExplainer — mais lento, use por sampling. Integre no pipeline de serving: o modelo retorna score + SHAP values, a aplicação renderiza visualização para o analista. O Alibi library (Seldon) oferece implementações prontas de múltiplos métodos XAI para modelos sklearn e TensorFlow.
