Audit von KI-Systemen. Bestätigt die Fähigkeit, Compliance, Ethik und Risiken von KI zu bewerten.
Antwort : Analyse der Trainingsdaten auf potenzielle Verzerrungen (Bias) und Durchführung von Fairness-Metriken-Tests für die Modellvorhersagen.
Bei der Auditierung von KI-Systemen ist es entscheidend, nicht nur die technische Funktionalität, sondern auch die ethischen Auswirkungen zu bewerten. In diesem Fall deutet die Beobachtung auf eine potenzielle Diskriminierung hin, die wahrscheinlich auf Verzerrungen in den Trainingsdaten oder im Modell selbst zurückzuführen ist. Die Anwendung spezifischer Fairness-Metriken ist notwendig, um das Problem quantitativ zu erfassen und Abhilfemaßnahmen zu entwickeln.
Antwort : Die inhärenten Verzerrungen (Bias) in Trainingsdaten, die zu diskriminierenden Ergebnissen führen können.
Die Fairness von KI-Modellen ist ein kritischer Aspekt des KI-Audits. Sie bezieht sich darauf, ob ein KI-System bestimmte Personen oder Gruppen aufgrund sensibler Attribute wie Rasse, Geschlecht oder Alter diskriminiert. Verzerrungen in den Trainingsdaten sind die häufigste Ursache für mangelnde Fairness und erfordern sorgfältige Prüfung und Abhilfemaßnahmen.
Antwort : Die Bereitstellung von Einblicken in die Gründe, warum ein KI-Modell eine bestimmte Entscheidung getroffen hat.
Erklärbare KI (XAI) ist ein Bereich der künstlichen Intelligenz, der darauf abzielt, KI-Modelle verständlicher zu machen. Im KI-Audit ist dies entscheidend, um die Zuverlässigkeit, Fairness und Sicherheit von KI-Systemen zu bewerten und Vertrauen in ihre Ergebnisse zu schaffen. XAI-Techniken helfen dabei, die Faktoren zu identifizieren, die zu einer bestimmten Entscheidung geführt haben.
Antwort : Regelmäßige Überwachung der Eingabedatenverteilung und des Modell-Outputs sowie periodisches Neutraining des Modells mit aktuellen Daten.
Data Drift beschreibt die Veränderung der statistischen Eigenschaften von Daten über die Zeit, was die Leistung von KI-Modellen beeinträchtigen kann. Auditoren müssen sicherstellen, dass Mechanismen zur Erkennung und Minderung von Data Drift implementiert sind. Dies beinhaltet typischerweise die kontinuierliche Überwachung der Daten und die periodische Aktualisierung oder das Neutraining des Modells.
Antwort : Anwendung von Techniken wie Überabtastung (Oversampling) der Minderheitsklasse (Betrugsfälle) oder Unterabtastung (Undersampling) der Mehrheitsklasse (legitime Transaktionen) während des Trainings.
Bei der Auditierung von KI-Modellen ist die Analyse von Fehlklassifikationen wie 'False Negatives' (fälschlicherweise als negativ klassifiziert) von großer Bedeutung, insbesondere in sicherheitskritischen Anwendungen wie der Betrugserkennung. Oft sind solche Probleme auf unausgeglichene Datensätze zurückzuführen, bei denen die zu erkennende Klasse (z.B. Betrug) sehr selten ist. Techniken zur Anpassung der Klassenbalance sind hier essenziell.