Auditoria de sistemas de IA. Garante que os auditores avaliem conformidade, ética e riscos.
Resposta : Um modelo cujos processos internos de tomada de decisão são opacos e difíceis de entender ou explicar, mesmo para os desenvolvedores.
Modelos de IA de caixa preta representam um desafio significativo para auditores devido à sua opacidade. Compreender essa característica é fundamental para planejar estratégias de auditoria eficazes que possam mitigar os riscos associados.
Resposta : Garantir que os sistemas de IA sejam desenvolvidos e utilizados de forma ética, responsável e em conformidade com as regulamentações.
A governança de IA estabelece as estruturas e processos para garantir que os sistemas de IA sejam confiáveis, éticos e alinhados aos objetivos organizacionais e regulatórios. A auditoria dessa governança é crucial para mitigar riscos.
Resposta : Cobertura e Diversidade das Recomendações
A auditoria de sistemas de recomendação deve ir além das métricas de desempenho tradicionais. Avaliar a cobertura e a diversidade é crucial para identificar e mitigar o risco de criar 'bolhas de filtro' que limitam a exposição do usuário a novas informações ou produtos.
Resposta : Teste de sensibilidade com entradas deliberadamente modificadas para expor associações indesejadas (por exemplo, gênero, raça).
A auditoria de vieses em modelos de PLN requer abordagens específicas. Testes de sensibilidade, onde pequenas alterações nas entradas são usadas para observar mudanças nas saídas, são fundamentais para revelar se o modelo faz associações discriminatórias.
Resposta : A complexidade inerente e a natureza de 'caixa preta' dos modelos, onde as explicações geradas podem ser simplificações excessivas ou enganosas.
A explicabilidade em IA (XAI) visa tornar as decisões dos modelos compreensíveis. Para modelos complexos como os de aprendizado profundo, o desafio central é garantir que as explicações sejam fiéis ao funcionamento interno do modelo e úteis para a auditoria e a confiança.