Mit dem Problem, dass wir mit menschlichem Versagen wesentlich nachsichtiger umgehen als mit dem Versagen eines Computerprogramms, und welche Folgen dies beispielsweise für autonome Fahrzeuge haben wird, hatte ich mich hier schon einmal beschäftigt. Das Problem ist aber nicht nur, wem wir welche Fehler vergeben – wirklich kritisch wird es, wenn es um Dilemmas geht, also um Situationen, in denen es keine “richtige” Lösung gibt. Und auch hier sind autonome Fahrzeuge, respektive die algorithmischen Entscheidungen, die sie zwangsläufig treffen müssen, ein sehr anschauliches Beispiel: Nehmen wir an, die Verkehrssituation lässt nur noch zwei Alternativen zu: das eigene Fahrzeug crasht in eine Gruppe von Menschen und könnte damit potenziell mehrere Menschenleben fordern, oder das eigene Fahrzeug weicht der Gruppe aus und rast dabei gegen, sagen wir mal, eine massive Mauer – was potenziell alle Insassen das Leben kosten könnte. Wie würden wir in so einer Situation entscheiden? Aber viel kritischer ist: Wie sollte der Algorithmus im Steuercomputer des autonomen Fahrzeugs entscheiden?

Die Antwort darauf hängt – was nicht weiter überraschen dürfte, obwohl dies der aktuellen Ausgabe von science einen Artikel wert war – natürlich davon ab, ob man im Auto sitzt oder nicht. Diese Studie (deren Inhalt ich primär dieser MIT-Pressemitteilung entnehmen musste, da mein science-Abo ausgelaufen ist und einer Verlängerung ziemlich teuer gewesen wäre) fand heraus, dass eine klare Mehrheit – 76 Prozent – der Befragten (via Amazons Mechanical Turk) befürwortete, dass der Algorithmus eher einen Fahrzeuginsassen als zehn Passanten töten sollte – doch nur ein Drittel der Befragten würde so ein Auto kaufen. Mit anderen Worten: Sie wissen zwar, was moralisch korrekt wäre – aber wenn sie darunter leiden müssten, dann ist ihnen diese moralische Korrektheit ziemlich egal.

Instinktiv kann ich das nachvollziehen – ich denke, ein Automat hat keine Moral. Selbst wenn er/sie (bei Automaten weiß man ja nie, welches Geschlecht sie haben) sich durch Maschinenlernen diese moralischen Standards erarbeitet hat, sie also nicht das Resultat der Ansicht eines individuellen Programmierers/einer individuellen Programmiererin sind – irgendwie kann eine automatisch, quasi-mechanische Entscheidung nicht wirklich menschlich sein, und damit auch nicht wirklich moralisch. Und dies wurde inzwischen sogar wiederholt bewiesen: Algorithmen (oder, in etwas allgemeinverständlicherer Schreibweise: Computerprogramme) sind potenziell ebenso vorurteilsbeladen und beispielsweise rassistisch wie Menschen sein können. Es ist sogar vergleichsweise schwierig, sie nicht zu genau jenen vorurteilsbeladenen A…löchern zu machen, vor denen sie uns eigentlich bewahren sollten. (Den Artikel hatte ich hier schon einmal verlinkt.)

flattr this!

Kommentare (22)

  1. #1 jochen
    27. Juni 2016

    Leider finde ich das Interview nicht wieder, aber zur Frage dieser Dilemas gab es ein nettes interview auf der zeit.de

    Quintessenz war, dass solche Dilemas nicht auftreten werden, da selbstfahrend Autos sehr defensiv fahren werden. D.h. Wenn das Auto in eine Situation kommt, in der es nicht alles Überblicken kann, fährt es so langsam, dass es jederzeit zum stehen kommen kann.

    Entsprechend dem Beispiel aus dem Post: Die Gruppe der Menschen oder dem Objekt dem das Auto ausweichen muss, muss ja irgendwo her kommen. Es beamt sich nicht vors Auto. Wenn das Auto die Menschengruppe oder das Objekt erst sehr spät war genommen hat, dann weil es durch irgendwas verdeckt war. Es hat also realisiert, dass da etwas seine Wahrnehmung beschränkt, also wird es langsam fahren (zum Leidwesen anderer Autofahrer).

  2. #2 Dwon
    27. Juni 2016

    @jochen: Anderes Beispiel. Das Auto fährt mit 50 durch die Stadt. Eine Person will die Straße überqueren und unterschätzt die Geschwindigkeit. Auf dem Bürgersteig ist eine weitere Person und es herrscht Gegenverkehr.
    In anderen Worten, das Auto hat nur noch die Wahl wen es in einen Unfall verwickeln soll.

    Nach deiner Argumentation hätte das Fahrzeug in der Stadt nur noch Schrittgeschwindigkeit fahren dürfen. Außer der Bürgersteig ist mit einer Mauer abgegrenzt über die niemand drüber kann.

    So ein Beispiel ist natürlich konstruiert und eher unwahrscheinlich. Dennoch kann so eine Situation auftreten und muss vorher beantwortet werden.

  3. #3 schnablo
    27. Juni 2016

    Als viel größeres Problem könnte sich erweisen, was man vielleicht traffic-trolling nennen wird. Wenn alle Autos 100% verlässlig fahren, bedeutet dies, dass sich Radfahrer und Fußgänger viel mehr Freiheiten erlauben dürfen. Werde ich mich an Verkehrsregeln halten, wenn der Passagier eines Autos, sowieso nichts (falsch) machen kann?

  4. #4 Jokep
    27. Juni 2016

    Ich habe zu diesen inzwischen ubiquitären Problemen aus der Maschinenethik eine interessante Überlegung gehört: Die Maschine (in diesem Fall das autonome Auto) trifft nie eine “Entscheidung” im eigentlichen Sinne – alle Entscheidungen werden bei der Erstellung der Steuersoftware von Menschen getroffen. Die Software wird dann einfach geistlos ausgeführt.

    Damit ist es natürlich auch kein Wunder, dass Software “potenziell ebenso vorurteilsbeladen und beispielsweise rassistisch wie Menschen” ist.

  5. #5 Peter
    27. Juni 2016

    @2, Dwon: “muss vorher beantwortet werden” – nein, muss es nicht, es wird ja jetzt auch nicht beantwortet. Wie lautet denn die Anweisung in der StVO für diesen Fall für einen menschlichen Fahrer? Es gibt keine. Und wenn man sich eine ausdenkt, wie könnte sie lauten? Bremsen und im Rahmen der Möglichkeiten ausweichen. Alles andere führt bestenfalls zu unkontrolliertem Verhalten des Autos, schlimmstenfalls zu Kollateralschäden. Wieso autonome Autos hier anders behandeln als menschliche? Hintergrund könnte doch nur sein, dass wir in Wirklichkeit von einem autonomen Auto eine bessere (und moralischere) Leistung erwarten als von uns selbst.
    @3, schnablo: das ist ein gutes Argument, daran habe ich noch gar nicht gedacht. Ist aber naheliegend. Könnte sogar zur Mutprobe oder Wettkampf werden: wer schafft es, so vor das Auto zu springen, so dass es genau einen Zentimeter vorher zum Halten kommt?

  6. #6 Jonathan Graber
    Deutschland
    27. Juni 2016

    Zum Einen erwartet man natürlich eine perfekte Lösung von einem Programm, das einem die eigene Entscheidung abnimmt und das Reaktionsvermögen soll natürlich auch besser sein.
    Zum Anderen muss man aber auch solch einem Programm, das ja auch von Menschen gemacht wurde, Vertrauen. Vielleicht hätte man selbst die Menschenmenge umfahren können, ohne sich zu schaden? Vielleicht gab es gar nicht wirklich ein moralisches Dilemma sondern die Aktion wird durch eine Fehlentscheidung des System ausgelöst. Da will man dann doch lieber selbst hinterm Steuer sitzen.
    Jedenfalls war das meine ergänzende Überlegung zu dem Thema.

  7. #7 Phil
    27. Juni 2016

    @Jürgen @Jochen

    Wieder mal eine besonderes Beispiel für geisteswissenschaftlichen Dünnschiss.

    Wie von Peter schon angerissen, stellt sich die “moralische” Frage technisch schlicht nicht.
    Ein autonomes Auto weicht entweder aus, wenn es einen freien “Pfad” findet, oder leitet eine (Not-) Bremsung ein. “Ethische” Algorithmen wären gar nicht “echtzeitfähig” (können also keine Deadlines garantieren) und sind somit Prinzip bedingt nicht Genehmigungsfähigkeit, geschweige dass jemand so etwas mit der Steuersoftware koppeln würde.

    Als einzige Verbesserung könnte man ggf. versuchen, ein “plötzliches” Hindernis möglichst gerade anzufahren, weil dies Schäden an Hindernis, Insassen und Auto minimiert.
    Weiterhin könnte man automatische Mitteilungen an andere Verkehrsteilnehmer senden (Hupe, Car2Car, etc) und ggf. eine Rettungsleitstelle, bzw. die Verkehrsaufsicht (Polizei, Ordnungsamt, etc) informieren.

    Auch autonome Autos dürfen/werden die üblichen Geschwindigkeiten fahren und müssen nicht alle Bereiche vollständig “überblicken” können. Sie könne sich genauso wie menschliche Fahrer darauf verlassen, dass sich die anderen Verkehrsteilnehmer Unfall-minimierend verhalten und sich nicht einfach so in die Fahrbahn stellen oder fahren. Und wenn sie es doch tun, dann trifft weder einem menschlichen Fahrer noch einem autonomen Auto die (juristische) Schuld.

    Viel interessanter sind die technischen Fragen:
    Wie erkenne und unterscheide ich feste Objekte und frei bewegliche?
    Wie erkenne ich den voraussichtlichen Pfad eines Objektes?
    Wie erkenne ich die Bewegungsabsicht eines Menschen?
    Wie erkenne ich Gefahrensituationen (Ball roll zwischen Autos hervor, evtl. rennt Kind hinterher)?
    Wie erkenne ich ungefährliche Hindernisse (Dreck, im Wind wehende Plastiktüten, Bretter vor/um Baustellen, Metallplatten in/um Baustellen)?

  8. #8 Gast
    27. Juni 2016

    “Computerfehler” sind äußerst selten. Zum Beispiel, wenn sich eine Wanze auf den Schaltkreis verirrt, und dort einen Kurzschluß auslöst. Es klang in der Diskussion schon an, dass alle Programme von Menschen geschrieben, von Menschen compiliert und von Menschen installiert werden. Wo also ist liegt die Ursache des Fehlers?

    Wie sollte der Algorithmus im Steuercomputer des autonomen Fahrzeugs entscheiden?
    Ein Algorithmus entscheidet nicht, er führt aus, in Abhängigkeit von einem Input produziert er einen Output.
    Ein Algorithmus hat keine Moral
    Hat er doch, wenn man nämlich unter Moral ein System von Regeln und Normen (Handlungsmustern) versteht. das menschliche Moralsystem mag wesentlich umfangreicher sein, das ist aber eine Frage der Komplexität des Programmes.
    Ein Programm bzw Algorithmus arbeitet folgendermaßen: ein Input(-datenstrom) wird verarbeitet und erzeugt Outputs, primär meist in Form von Spannungen oder Strömen, die zur Ansteuerung von z.B. Maschinenelementen benutzt werden, im Grunde wie ein neuronalesNetz.
    Da keine kompletten Look-up-Tabellen abgefragt werden, erfolgt also eine Art Interpolation. Eine interessante Frage wäre jetzt, sollen sehr ähnliche Inputs auch ähnliche Outputs erzeugen (Stetigkeit), oder evt. zu drastisch veränderten Outputs führen. Der Leser mag Beispiel konstruieren, die für den einen oder anderen Fall sehr sinnvoll wären.

  9. #9 Siskin
    27. Juni 2016

    ich frag mich ja, wie blöde muss das Auto vorher gefahren werden, um erst in so eine fingierte Entscheidungsfalle zu geraten? – Sprich, wie viele “Fehlentscheidungen” (egal ob durch die Software oder einen menschliche Fahrer) liegen schon davor an, damit diese Situation auftreten kann!?

  10. #10 jochen
    27. Juni 2016

    @Dwon

    in welche Stadt lebst du, dass Fussgänger alle 5 m ohne sich umzuschauen spontan eine Strasse überqueren?
    Ansonsten gilt, dass das selbstfahrendes Auto in dem Tempo und mit dem Abstand am Fussgänger vorbeifährt, dass es noch rechtzeitig Bremsen kann. Wenn das dann nur 30 km/h statt 50 km/h sind, macht es so ein Auto. Aber deshalb muss das Auto nicht ständig Schrittgeschwindigkeit fahren.

  11. #11 Dwon
    27. Juni 2016

    @Peter: Für den menschlichen Fahrer stellt sich die Frage nicht, weil dieser in so einer Situation nur noch reagiert oder eben nicht reagiert, weil er die plötzliche Situation nicht bewerten kann. Es wird ihm auch keiner einen Vorwurf machen, wenn er zuerst an sich denkt.
    Bei einem autonomen Fahrzeug ist der Mensch, welcher letzten Endes festlegt wie die Software und damit das Fahrzeug reagiert, aber in der Lage sich Gedanken zu machen. Das kann er sich Jahre vorher überlegen.
    Es ist eine mögliche und definierte Situation und damit muss man eine Ausgabe definieren. Nichts festzulegen ist nicht möglich, denn “nichts” bedeutet den Zustand beizubehalten und ist ebenfalls eine Entscheidung.

    “…wie könnte sie lauten? Bremsen und im Rahmen der Möglichkeiten ausweichen.”
    Soll das Fahrzeug…
    a) in den Gegenverkehr ausweichen (um die Airbags usw. zu nutzen)?
    b) auf den Bürgersteig ausweichen (vielleicht springt die Person dort weg)?
    c) die Kontrolle behalten und so stark es geht abbremsen. Wissend, dass der Bremsweg zur Person vor einem nicht mehr ausreicht.

  12. #12 Dwon
    27. Juni 2016

    @jochen: Ich denke dabei eher an ein Dorf, durch das eine Hauptstraße führt. Dort gibt es nicht immer eine Ampel oder Zebrastreifen an passender Stelle. Und ich schrieb auch, dass die Person die Geschwindigkeit unterschätzt und nicht blind los läuft. Letztlich aber egal. Es geht darum, dass die Situation vorkommen kann und nicht wie wahrscheinlich diese ist.
    Um jederzeit abbremsen zu können ist Schrittgeschwindigkeit direkt neben dem Fußgänger gerade langsam genug. In einigen Städten würde das durchgehend Schrittgeschwindigkeit bedeuten, auf Straßen auf denen man ansonsten schnell durch die Stadt kann.

  13. #13 Earonn
    27. Juni 2016

    Das Dilemma würde für Menschen wie für Automaten gelten (abgesehen von #4 Jokeps gutem Einwurf). Es käme also so oder so zum Unfall.

    Den Vorteil auf seiten der Maschine sehe ich hier darin, dass der Algorithmus Wissen nutzen kann, das einem menschlichen Fahrer nicht zur Verfügung steht. Er kann “abschätzen” wie viele Tote es in der Menschenmenge im Vergleich zum Auto gäbe – und dementsprechend entscheiden.
    Ein Mensch, sogar jemand der beruflich Unfälle auswertet, kann so schnell gar nicht überlegen und reagieren.

    Peter hat aber auch ein gutes Argument aufgebracht: wie viele Idioten werden dann vor Autos springen? Wie viele Fahrer würden Schütteltraumas erleiden, weil Kinder den “Scherz” nicht verstehen?

  14. #14 Wizzy
    27. Juni 2016

    Abgesehen von dem hier genannten habe ich vor mehreren Jahren über die Problematik gelesen, die in Deutschland mit dem Gesetz entstünde: So gibt es beispielsweise die Vorschrift, dass man Radfahrer mit 1,5 – 2,5 m Abstand überholen muss. “[…] im Zweifel mehr [als 2 m]. Ist kein ausreichender Abstand aufgrund der Verkehrssituation einzuhalten, muss das Überholen unterbleiben und es ist hinter dem Radfahrer zu bleiben.” Dies wird in größeren Städten von menschlichen Autofahrern schlicht ignoriert, wie viele andere Vorschriften regelmäßig auch – z.B. das Verbot außerhalb von Einfahrten auf den Gehsteig zu fahren. In meinem Dorf gehört Gehsteige mitbefahren hingegen zur empirischen Fahrregel Nr. 1.
    Ein programmiertes Auto muss aber alle Verkehrsregeln zwingend einhalten, was sich im Praxistest als ziemlich untauglich, bis hin zu größter Empörung hinter dem Testfahrer, herausstellt.

  15. #15 Earonn
    27. Juni 2016

    Sozusagen “Dienst nach Vorschrift”.
    Wirklich guter Einwand, Wizzy.

  16. #16 Laie
    28. Juni 2016

    Automatisch fahrende Autos (klingt witzig), besser autonome Autos oder so hätten den Vorteil, viel weniger Verkehrstote und Unfälle zu produzieren, daher ein klares Votum für algorithmen-betriebene Fahrzeuge, die angepasst an die aktuelle Verkehrsituation (Wetterverhältnisse wie Regen, Schnee oder Trockenheit, Gefährdete wie etwaige mitanwesende Fußgänger, Radfährer) die optimale Geschwindigkeit berechnen, sodass es nicht zu Verkehrstoten oder Verletzten kommen kann. Dabei ist klar, die Geschwindigkeitsbegrenzungen hängen dann vom Fahrzeugtyp, Bremsweg durch Beschaffenheit der Fahrbahn, Umgebung- und Witterung ab, anstatt derzeitigen einheitlichen Geschwindigkeitsbegrenzungen.

    Der Algorithmus muss schon vorher die richtige Geschwindigkeitsreduktion eingeleitet haben, sodass Personenschäden nicht entstehen.

  17. #17 kari90
    29. Juni 2016

    @Wizzy: Da muss ich dir vollkommen recht geben. Die meisten Autofahrer könnten auch gar nicht darauf reagieren, wenn plötzlich wer spontan vom Gehsteig auf die Straße steigt, weil sie zu schnell unterwegs sind. Ein selbstfahrendes Auto müsste hier einfach langsam vorbeifahren, was ein normaler Autofahrer niemals tun würde.

  18. #18 Orci
    1. Juli 2016

    Klingt für mich so, als bedürfne es nach der statistischen Physik einer statistischen Ethik mit einer klaren Antwort auf die berühmte Frage, ob es besser ist, auszuweichen und einen Menschen potentiell zu töten oder zu bremsen und viele Menschen potentiell zu töten, die dann. Man könnte dann argumentieren es sei besser, auszuweichen, indem man ausführt, dass dadurch im Mittel weniger Tote im Straßenverkehr zu beklagen sind. Man könnte dagegen argumentieren, dass die Leben sich ihrer selbst bewusste Menschen nicht so einfach gegeneinander abzuwägen sind, wie unbelebte Dinge. Im Grunde natürlich keine neue Frage, aber wenn man autonome Fahrzeuge möchte, dann kommt man in meinen Augen um die Antwort nicht herum.

  19. #19 Orci
    1. Juli 2016

    Normalerweise poste ich ungern doppelt, aber das ist ja direkt peinlich. Jetzt noch mal ohne die gröbsten Fehler:

    Klingt für mich so, als bedürfe es nach der statistischen Physik einer statistischen Ethik mit einer klaren Antwort auf die berühmte Frage, ob es besser ist, auszuweichen und einen Menschen zu töten oder zu bremsen und vielleicht viele Menschen zu töten. Inesbesondre, wenn dieser eine Mensch der Fahrer ist. Man könnte dann argumentieren es sei besser, auszuweichen, indem man ausführt, dass dadurch im Mittel weniger Tote im Straßenverkehr zu beklagen wären. Man könnte dagegen argumentieren, dass die Leben sich ihrer selbst bewusster Menschen nicht so einfach gegeneinander abzuwägen sind, wie unbelebte Dinge. Im Grunde natürlich keine neue Frage, aber wenn man autonome Fahrzeuge möchte, dann kommt man in meinen Augen um die Antwort nicht herum.

    Ich frage mich manchmal, ob das besser wäre, wenn man jungen Menschen in der Schule zumindest in groben Zügen beibringt, wie Risiko-Management anhand von Wahrscheinlichkeiten funtkioniert. Seit ich mich damit beschäftige, hat sich meine Sicht auf viele Dinge signifikant geändert.

  20. #20 Bullet
    1. Juli 2016

    autonome Fahrzeuge? War da nicht heute was?

  21. #21 Alderamin
    1. Juli 2016

    @Bullet

    Hier wohl offenbar ein Problem der ungenügenden Bestückung mit Sensorik. Die beschriebene Situation passt zu den blinden Flecken, die hier beschrieben werden. Mich hat sofort gewundert, warum im Spiegel-Artikel die Rede von einer Kamera ist, wo es doch Radar gibt.

    Es kann nicht sein, dass es Zonen um das Auto herum gibt, wo man sich alleine auf eine Kamera verlässt. Schon wegen der fehlenden Sicht bei Nacht. Soo teuer sind diese Radar-Systeme nicht.

  22. #22 Jokep
    5. Juli 2016

    @Bullet

    Dazu kann ich nur sagen, dass ich all jene, die sich jetzt wundern, entweder für scheinheilig oder kurzsichtig halte.

    Natürlich gibt es auch mit autonomen Fahrzeugen Unfälle, das ist ja wohl klar. Die Frage ist nur, ob es weniger Unfälle gibt als mit menschlichen Fahrern – und das ist ebenso klar.

    Ich verstehe nicht, warum wir bei Menschen einfach hinnehmen, dass es im heutigen Straßenverkehr laufend tw. schwerste Unfälle gibt – bei autonomen Systemen hingegen darf nicht mal ein Auffahrunfall passieren.