Software „entschärft“

Robo-Auto tötete Frau: Chronologie des Versagens

07.11.2019 12:41

Mehr als ein Jahr nach dem ersten tödlichen Unfall mit einem selbstfahrenden Auto des Fahrdienstes Uber im US-Bundesstaat Arizona liegt nun der Untersuchungsbericht der Transportsicherheitsbehörde NTSB vor. Der bestätigt nicht nur, dass die bei dem Unfall getötete Frau einem „völlig vermeidbaren“ Software-Fehler zum Opfer gefallen ist, sondern skizziert auch ins kleinste Detail, durch welche - offenbar teils vom Management verordneten - Software-Fehlentscheidungen es zu dem Crash kam. Es ist eine Chronologie des Versagens.

Der abschließende Untersuchungsbericht, der dem IT-Portal „Ars Technica“ vorliegt, lässt kein gutes Haar an der Robo-Auto-Software des Chauffeurdienstes Uber. Dessen Software habe bei dem Crash eine ganze Reihe von Fehlentscheidungen getroffen - und die ihr Rad über die Straße schiebene Frau getötet, obwohl sie fünf Sekunden vor dem Crash von den Sensoren des selbstfahrenden Volvo XC90 erkannt wurde.

(Bild: Associated Press)

Die Behörde hat die Probleme, die zum Crash führten, nachgezeichnet:

5,2 Sekunden vor dem Crash wurde die Frau von Ubers Software erstmals erkannt - allerdings als „sonstiges Objekt“.
4,2 Sekunden vor dem Unfall änderte das Fahrzeug seine Meinung und erkannte in der Fußgängerin ein anderes Fahrzeug.
In den 3,8 bis 2,7 Sekunden vor der Kollision war man nicht sicher, ob man es mit einem Fahrzeug oder „Sonstigem“ zu tun hatte.
2,6 Sekunden vor dem Unfall wurde die Frau als Fahrrad erkannt.
1,5 Sekunden vor dem Unfall war sie für das Auto dann wieder ein „unbekanntes Objekt“.
1,2 Sekunden vor dem Unfall erkannte die Software sie wieder als Fahrrad, doch es war zu spät. Augenblicke später erfasste der selbstfahrende Wagen die Frau - und tötete sie.

Die „Gedanken“ des selbstfahrenden Autos offenbaren für die Transportbehörde gravierende Mängel in dessen Programmierung. Uber hatte erstens unverhofft die Straße querende Fußgänger nicht in die Entscheidungsroutinen des Autos eingeschlossen, kritisiert die NTSB. Ubers Programmierer hatten aber auch noch auf einer zweiten Ebene versagt.

(Bild: Volvo)

Grundsätzlich, so möchte man meinen, sollte ein selbstfahrendes Auto anhalten, wenn eine Kollision droht - und zwar unabhängig von der Art des Hindernisses. Im konkreten Fall passierte das aber nicht, weil die Software die Routen von Hindernissen errechnete und nur dann bremste, wenn sich der Weg des Autos und des Hindernisses kreuzen. Weil die Erkennung versagte und man die Fußgängerin für „Sonstiges“, dann für ein Auto und dann wieder für ein Fahrrad hielt, wurde die bevorstehende Kollision nicht erkannt.

Anti-Kollisions-System versagte komplett
Laut NTSB passierte Folgendes: „Wenn das Wahrnehmungssystem die Klassifizierung eines erkannten Objekts ändert, werden die letzten Positionen des Objekts nicht mehr bei der Erzeugung seiner Route berücksichtigt.“ Vereinfacht gesagt, war das Auto also so sehr mit der Identifizierung - Auto oder Fahrrad - des Hindernisses beschäftigt, dass es dessen zu erwartende Route falsch berechnet und keine Bremsung eingeleitet hat.

Die Software ging davon aus, dass die Frau - als Auto oder Fahrrad eingestuft - auf der Straße bleiben musste und diese nicht zu queren gedachte. Als Fußgängerin wurde die ihr Fahrrad zu später Stunde über die Straße schiebende Frau zu keinem Zeitpunkt erkannt.

Auto brauchte „Bedenksekunde“ vor Notbremsung
Ein weiteres Problem der Software: Sie gönnte sich, als der Crash unmittelbar bevorstand, eine „Bedenksekunde“. Ubers Programmierer hatten festgelegt, dass vor einer Notbremsung noch einmal die Art des Hindernisses verifiziert werden müsse und das Auto erst dann bremsen sollte. Nachdem der bevorstehende Crash erst 1,2 Sekunden vor Aufprall überhaupt realisiert wurde, traf der Wagen die Frau fast ungebremst. Hätte das Fahrzeug gebremst, hätte die Frau den Crash vielleicht überlebt.

Interessanterweise dürfte die Software auch gar nicht mit voller Kraft gebremst haben, weil eine Bremskraft-Obergrenze bei drohenden Kollisionen eingebaut war. Das System bremst nur dann mit nahezu voller Kraft, wenn es glaubt, damit einen Unfall verhindern zu können. Erscheint ihm eine Kollision unvermeidbar, bremst es mit weniger Kraft, damit das Auto noch kontrollierbar bleibt, und übergibt an den Kontrollfahrer. Der war im konkreten Fall allerdings damit beschäftigt, auf seinem Smartphone Videos anzuschauen.

Diese Frau saß als Sicherheitsfahrerin am Steuer eines Uber-Volvos, als dieser eine Fußgängerin zu Tode fuhr.

(Bild: twitter.com, krone.at-Grafik)

Software wurde für Uber-Chef „entschärft“
Grund für die vielen Programmier-Pannen, die den Crash verursacht haben, dürfte eine Forderung des Uber-Managements gewesen sein. Dieses forderte laut einem „Business Insider“-Report im Vorjahr von den Programmierern kurz vor einer Demonstrationsfahrt mit Uber-Chef Dara Khosrowshahi von ihnen, das System so zu gestalten, dass es dabei möglichst zu keinen „schlechten Erfahrungen“ kommen sollte. Man limitierte daraufhin die Möglichkeiten des Wagens, automatische Vollbremsungen und andere gefährliche Ausweichmanöver einzuleiten. Die Ausweichmanöver schaltete man später wieder ein, die Limitierungen beim Vollbremsen blieben offenbar.

Uber-Geschäftsführer Dara Khosrowshahi

(Bild: APA/AFP/Sergio LIMA)

Uber bedauere den Unfall, gab eine Unternehmenssprecherin bekannt und stellte fest, dass die Firma „wesentliche Programmverbesserungen vorgenommen hat. Wir schätzen die Gründlichkeit der Untersuchung durch die NTSB sehr.“