Projekt der TU Wien

Österreichische Lösung soll KI-Fehler verhindern

Anagha Athavala vom Institut für Logic und Computation der TU Wien analysiert neuronale Netzwerke, die bestimmte Eingabedaten bestimmten Kategorien zuordnen.

(Bild: ©ipopba - stock.adobe.com)

Künftig werden wohl viele Entscheidungen von Künstlicher Intelligenz (KI) getroffen. Speziell in sensiblen Bereichen erwartet man dafür Garantien, dass deren Auswahl sinnvoll ist und schwere Fehler ausgeschlossen sind. Eine mögliche Lösung kommt aus Österreich.

Ein Forscherteam der Technischen Universität (TU) Wien und des Austrian Institute of Technology (AIT) präsentierte auf einer Konferenz in Kanada eine Methode, mit der man verifizieren kann, ob bestimmte neuronale Netzwerke fair und sicher sind.

Anagha Athavala vom Institut für Logic und Computation der TU Wien analysiert neuronale Netzwerke, die bestimmte Eingabedaten bestimmten Kategorien zuordnen. Die Eingabe könnte zum Beispiel eine Verkehrssituation sein, anhand derer ein neuronales Netzwerk entscheidet, ob ein selbstfahrendes Auto lenken, bremsen oder beschleunigen soll. Der Input könnten auch Datensätze über Bankkunden sein, auf deren Basis die KI entscheidet, ob eine Person einen Kredit bekommt.

Robustheit und Fairness
Von einem solchen neuronalen Netz werden den Forscherangaben zufolge zwei wichtige Eigenschaften verlangt: „Robustheit und Fairness“, so Athavala. Ist es robust, dann sollten zwei Situationen, die sich nur in kleinen Details unterscheiden, auch zum selben Ergebnis führen. Als „fair“ gilt ein neuronales Netz, wenn es dasselbe Ergebnis bei zwei Situationen liefert, die sich nur in einem, für die Entscheidung belanglosen Wert unterscheiden.

Als Beispiel nennt die Computerwissenschafterin ein neuronales Netz zur Einschätzung der Kreditwürdigkeit und zwei Personen mit sehr ähnlichen finanziellen Daten, aber unterschiedlichem Geschlecht oder Ethnie: „Das sind Parameter, die auf die Kreditvergabe keinen Einfluss haben sollten. Das System sollte also in beiden Fällen dasselbe Ergebnis liefern.“ Das ist nicht selbstverständlich, wie in der Vergangenheit wiederholt Systeme gezeigt haben, die mit vorurteilsbehafteten Daten trainiert wurden.

Techniken zur Verifizierung von Robustheit und Fairness hätten sich bisher meist auf die lokale Definition der beiden Eigenschaften konzentriert. Dabei werde für einen bestimmten Input überprüft, ob kleine Unterschiede zu abweichenden Ergebnissen führen. Ziel sei aber die Definition globaler Eigenschaften, um zu „garantieren, dass ein neuronales Netz immer diese Eigenschaften aufweist, ganz unabhängig von der Eingabe“, so Athavala.

Den Forscherinnen und Forschern ist es gelungen, ein solches System zu entwickeln. Vorgestellt haben sie es diese Woche auf der 36th International Conference on Computer Aided Verification in Montreal (Kanada). „Unser Verifizierungs-Tool prüft das neuronale Netz nicht nur auf bestimmte Eigenschaften, sondern es gibt auch Auskunft über den Grad des Vertrauens.“ Eine solche auf Vertrauen basierende Sicherheitseigenschaft sei eine wichtige Änderung in der Art und Weise, wie globale Eigenschaften von neuronalen Netzen definiert werden. Die Methode ermögliche es, ein neuronales Netz rigoros zu testen und gewisse Eigenschaften mit mathematischer Zuverlässigkeit zu garantieren.