Falsches Sicherheitsgefühl

Eine Jury in Florida hat Tesla zu einer Zahlung von 243 Millionen Dollar für den Tod von Naibel Benavides am 25. April 2019 verurteilt. Tesla wurde zu 33 Prozent für den Tod des 22-Jährigen verantwortlich gemacht.

An diesem Tag fuhr George McGee seinen Tesla Model S mit eingeschaltetem Autopiloten. Als er sich einer Kreuzung näherte, ließ er sein Handy fallen und versuchte, es aufzuheben, während er den Fuß auf dem Gaspedal beließ. Das Fahrzeug prallte gegen einen ordnungsgemäß geparkten SUV. Das Mädchen starb, ihr Freund wurde verletzt. Der Tesla fuhr mit über 80 km/h.

Wir sind für 66 % der Folgen des Technologiemissbrauchs verantwortlich

Teslas Anwälte argumentieren, dass der Fuß des Fahrers auf dem Gaspedal den Autopiloten daran gehindert habe, den Aufprall zu verhindern. Darüber hinaus sei das Handbuch eindeutig, wenn es heißt: „Es liegt in der Verantwortung des Fahrers, aufmerksam zu sein, sicher zu fahren und das Fahrzeug zu kontrollieren.“ Im Fall von Herrn McGee: null von drei Punkten. Die Jury befand ihn jedoch nur zu 66 % für schuldig.

Dafür gibt es zwei Gründe: einen technologischen und einen psychologischen.

Zum Zeitpunkt des Unfalls hatte der Fahrer nicht auf die Straße geblickt und die Hände vom Lenkrad genommen. Er war gerade damit beschäftigt, sein Telefon zu suchen. Der Autopilot ließ ihn jedoch mit über 80 km/h (50 mph) eine Kreuzung passieren, ohne „aufmerksam zu sein, sicher zu fahren und das Fahrzeug zu kontrollieren“. Andere Hersteller verwenden Kameras, die überwachen, ob der Fahrer auf die Straße schaut, und eine Warnung ausgeben.

Der psychologische Grund ist subtiler und zugleich tiefer. Autopilot ist ein konnotativer und irreführender Begriff. Die Kläger warfen Tesla vor, mit manipulierten Videos und irreführenden Behauptungen wie „Unser Fahrsystem ist sicherer als ein Mensch“ „Falschinformationen“ zu verbreiten.

All dies vermittelt Tesla-Fahrern ein falsches Sicherheitsgefühl, wenn der Autopilot aktiviert ist, und lässt sie unvorsichtig werden. Wenn das Auto die richtigen Entscheidungen trifft, wächst die Zuversicht, dass das nächste genauso gut sein wird. Bis es das nicht mehr ist.

Die Society of Automotive Engineers (SAE) definiert sechs Stufen der Fahrautomatisierung, die von 0 (keine Automatisierung) bis zur vollständigen Automatisierung auf Stufe 5 reichen. Teslas Kampagnen, Musks gebrochene Versprechen und der Name Autopilot selbst suggerieren uns subtil auf Stufe 5, aber nein: Teslas haben Stufe 3. Diese Lücke zwischen den tatsächlichen Fähigkeiten eines Systems und der Art und Weise, wie sie wahrgenommen werden, führt zu einem falschen Sicherheitsgefühl.

Aber das ist nicht nur Teslas vorbehalten. Nicht einmal Autos. Wir sind dem immer dann ausgesetzt, wenn wir ein KI-basiertes Vorhersagesystem wie ChatGPT, Copilot, Claude oder Autopilot verwenden. Wenn es uns bei der Recherche, beim Schreiben von Programmiercode oder bei Finanzsimulationen unterstützt, können wir nie sicher sein, ob wir sicher sind. Und das macht uns zu 66 % für die negativen Folgen verantwortlich.