Eine TV-Serie – Zwei Sichtweisen

I. Vom Tod einer Göttin.

Ein Essay von Markus Pohlmeyer/12.3.17

Summary: Es gibt zwei Göttinnen/Künstliche Intelligenzen (Die Maschine und Samaritan) und ihre Untertanen wir Zuschauer beobachten aus der Haustierperspektive (human point of view) den Kampf dieser beiden Titanen.[1] (Noch eine historische Anmerkung: „Das Fachgebiet ‚Künstliche Intelligenz‘ (KI) existiert – zumindest dem Namen nach – seit der Dartmouth Konferenz 1956, dort wurde ‚Artificial Intelligence‘ das erste Mal erwähnt. Vorher hatte allerdings auch schon Alan Turing 1950 in einem Aufsatz ‚Computing machinery and intelligence‘ die Frage diskutiert, ob Maschinen denken können.“[2])

Es gibt da eine (Wahnsinns)Folge („Sotto Voce“), in der ein Verbrecher, bisher nur als Die Stimme bekannt, einen Körper, eine Person dazu erhält. Und dann gibt es eine Folge, in der Root auf der Flucht mit Finch umkommt, aber zur Stimme der Maschine werden wird – und sogar als deren Projektion erscheint. (Vinzenz Hediger zum Thema Stimme, mit Blick auf „2001“, „Dark Star“ und „Her“: „Die erlebbare Technikfolgenabschätzung des Kinos greift der realen technischen Entwicklung mitunter auch konkret vor. Künstlerische Gestalt gewinnt die künstliche Intelligenz im Film zunächst und zumeist als Stimme – was durchaus einleuchtet, wenn man mit Derrida festhält, dass die Stimme, die sich beim Sprechen selbst hört, das Modell des Bewusstseins und des Selbstbewusstseins ist.“[3]) Metamorphose: Root hat nun endlich die Vereinigung mit ihrem Gott erreicht! Oder umgekehrt: die Maschine humanisiert sich immer mehr, wird uns vertrauter. Die Maschine simuliert alternative Lebensgänge, bewahrt die Erinnerung (memoria) an die Toten und sichert damit deren Weiterleben. Ist das so? Man denke nur an die kuriosen Überlegungen von Frank J. Tipler:

„Dies ist nun der physikalische Mechanismus der individuellen Wiederauferstehung: Wir werden in den Computern der fernen Zukunft emuliert.“[4] „Die Toten werden auferstehen, sobald die Leistungsfähigkeit aller Computer im Universum so groß ist, daß die zur Speicherung aller möglichen menschlichen Situationen erforderliche Kapazität nur noch einen unbedeutenden Bruchteil der Gesamtkapazität darstellt.“[5]

Ohne Kommentar …

Shaw wird von Samaritan-Anhängern gefoltert, und zwar mit über 7000 Simulationen! Um Realität und Nicht-Realität zu verwischen. So tötet sie realiter eine Wissenschaftlerin – im tragischen Glauben, sie befinde sich virtualiter nur in einer Simulation. Und nur in einer solchen erlebt sie eine erotische Vereinigung mit Root – und nur aus Liebe zu ihr wird sie in den Simulationen immer und immer wieder Selbstmord begehen, um ja nicht den geheimen Standort der Maschine und ihrer Freunde zu verraten. „Die bewusste Kontrolle und Steuerung intelligenten Handelns ist Bestandteil menschlicher Existenz. Keine künstliche Intelligenz kann (im Unterschied zum Menschen) ‚den Stecker ziehen‘ – was eine intelligente Handlung sein kann, wenn man sich festgefahren hat. […] Künstliche Intelligenz schämt sich nicht nach einem Fehler und freut sich nicht über einen Erfolg – KI ist eben auch ‚kalte‘ Intelligenz.“[6]

Distanz: Vielleicht wird die Liebe zwischen zwei Frauen hier nur in einer Simulation ermöglicht – aus Rücksicht vor einem gewissen Publikum? Nähe: Vielleicht wird der intensive Gebrauch von Waffen aller Art so hemmungslos in der Realität eingesetzt (ohne wirklich relevant zu sein für den Verlauf der Handlung) – aus Rücksicht vor einem gewissen Publikum? Beides scheint zusammengeführt in dem hochromantischen Moment zwischen dem präteritalen und dem futurischen Kugelhagel: Root und Shaw Händchen haltend. Nunc stans: der Liebe Ewigkeit in des Krieges Wiederkehr. Nun gut, und was da so abgeht zwischen Fusco, dem ex-korrupten Polizisten, und John, neben dem Batman geradezu psychisch stabil wirkt, mag hier unentfaltet bleiben, nur so viel: als sie sich verabschieden, – welch tiefer Dialog! – John, heroisch-pathetisch, zu Fusco, er möge versuchen, nicht zu sterben! Fusco, ironisch-brummelnd, zu John, ja, er liebe ihn auch![7]

Finch zweifelt an allem, auch daran, dass er am Untergang seiner Freunde schuld werden würde; aber die Maschine zeigt ihm, was simuliert und mit einer gewissen Wahrscheinlichkeit aus ihnen geworden wäre, hätten sich ihre Wege nie gekreuzt: John hätte Selbstmord begangen, Fusco wäre der korrupte Schnapszombie geblieben, der er war – und Root würde als Killerin für Samaritan arbeiten. Finch hat diesen gebrochenen, so oft so schuldig gewordenen Menschen ihr Selbstbestimmungsrecht zurückgegeben: sie opfern sich für eine gute Sache, freiwillig. Wie Finch John gerettet hat, wird John Finch retten (mit einem ihm angemessen Abgang Richtung Götterdämmerung).

Samaritan initiiert eine Epidemie – und die Menschen geben daraufhin freiwillig ihre DNA an Sammelstellen preis: verständlich dieses Sicherheitsbedürfnis („Angst sells“[8])! Aber Samaritan will dies nutzen, um zu katalogisieren, um zu selektieren, um für die neue Welt auszuwählen, neben der sich Orwells „1984“ schon jetzt wie eine optimistischere Utopie ausnimmt. Die Serie spart diesbezüglich nicht mit Kritik: aber weder NSA, die Regierung oder political correctness oder sonst etwas spielen hier noch eine Rolle, weil alles, aber auch wirklich alles schon von einer anderen Realität, die nur wenige sehen, um die nur wenige wissen, übernommen, überrollt, überholt worden ist.

Finch ist wie Gott Shiva: Schöpfer und Zerstörer. Um Samaritan auszuschalten, muss er mit einem Virus das Internet zerstören – und damit auch sein Geschöpf. Am Ende steht eine globale digitale Apokalypse. Finch will der Menschheit wieder das Selbstbestimmungsrecht zurückgeben, denn Samaritans Analyse über die Unfähigkeit der Menschheit führt zu deren konsequenter Auslöschung. Samaritan schaltet z.B. systematisch die Köpfe des organisierten Verbrechens aus. Samaritan simuliert, wie Banker und Konzernchefs um des Profits willen billigend den Ruin und Tod von Tausenden in Kauf nehmen usw. Das ist zwar ziemlich nahe an einem ethischen Abgrund: aber wo verläuft die Grenze zum Faschismus? Wann wird jegliche Alterität ausgelöscht, um die neue Menschheit zu schaffen? Von Maschinen, die uns unendlich überlegen erscheinen? Die alles kontrollieren können, da schon mehr oder weniger alles vernetzt; dazu Kameras und Abhörmechanismen ad infinitum. Angst, Profit, Machtgeilheit und Kontingenzkompensation via Selbst-Installationen im scheinbar unendlichen Raum des Oberflächendesigns durch die Sozialen Netzwerke kommen hinzu.

Realität ist digitalisierbar, simulierbar – und somit manipulierbar, wenn die Simulation in die Realität über manipulierte Daten rückübersetzt wird und somit diese selbst in den Status einer Simulation aufrücken. Was also Realität sein bzw. dafür gehalten werden soll, bestimmt die simulierende Instanz. Diese wiederum bleibt abhängig von ihrer Programmierung und somit vom Programmierer. Finch versucht ja krampfhaft, die Maschine an (universelle, kategorische, kantische?) Regeln zu halten, damit die Kontrolle nicht verlorengehe, was wiederum erst die Tragödie heraufbeschwört. Und wer sagt uns, dass wir uns nicht schon in einer riesigen Simulation befinden, dass dieses Universum nicht eine solche ist? Ad infinitum. Sind wir nur die digitalen Träume von Göttern?

Die kalte Technik der KIs wird gebrochen, indem zum einen Finch versucht, die Maschine zu erziehen, d.h. ihr zu einem ethischen Bewusstsein zu verhelfen (wobei ethisch und Bewusstsein wiederum nur Anthropomorphismen sind), und wenn zum anderen in der Selbstbeschreibung der Maschine hochreligiöse Momente eindringen. Sinn des Lebens und des Sterbens Sinn, Totengedenken und Liebe (zwischen Mensch und Maschine, d.h. zwischen Schöpfer und Geschöpf: die Maschine behauptet, sie würde Root sogar besser als Finch kennen, denn sie hätte die Tote tausend Male simuliert.):

„Religiöse Semantik, meist aus dem jüdisch-christlichen Traditionsstrom geschöpft, und der Rekurs auf einschlägige philosophisch-theologische Theoriestücke bestimmen in einem Maß die Selbstbeschreibung und Selbsttheoretisierung der Cyberwelt, dass es in einer Öffentlichkeit, die wie die derzeitige westeuropäische in Richtung eines religiösen Analphabetentums unterwegs ist, unschwer zu Verwechselungen zwischen technisch Projektiertem und religiöser Rhetorik kommt.“[9]

Klaus Müller verweist in diesem Zusammenhang auf den Golem – und dies liest sich wie eine Kurzfassung der besprochenen Serie –, auf einen

„[…] künstlichen Helfer, den sich ein kluger Rabbi aus Lehm geschaffen hat und den er durch ein magisches Ritual aus Zahlen und Buchstaben zum Leben erweckt, der dann eines Tages außer Kontrolle gerät, zur übermenschlichen Schreckensgestalt wird und in letzter Sekunde an der Zerstörung der Welt gehindert werden kann, die er schon begonnen hat.“[10]

Shaw, der die Flucht gelungen ist, trifft Root, will sich aber sofort wieder selbst umbringen. Root richtet nun ihrerseits die Waffe auf sich – etwas, was in all den Simulationen nicht geschah: hier hat das Gegenüber einen freien Willen! Darum wird Shaw überleben. Wenn die Serie zwei Kriterien bereitstellt für unser ethisches Verhalten, dann sind es ein guter Wille (nach Kant) und die Liebe (nach Shaw und Root), die sich in der Simulation und in der Realität gleichermaßen bewähren. Darum kann die Maschine auch Liebe für die simulierten Menschen empfinden (zumindest sagt sie das –, aber ob sie wirklich weiß, was es heißt, ein Mensch zu sein?[11]), darum kann sich die Maschine auch für ihre eigene Vernichtung entscheiden. Ist sie aber darum schon eine Person, ein Subjekt, Geist? Vielleicht ja. Aber sie braucht auf jeden Fall ihre Haustiere, da sie keinen Körper hat. Und darum:

„Es ist eine Überlegung wert, ob nicht der Film selbst eine Form der künstlichen Intelligenz darstellt – als technisches Medium, dem wir als Zuschauer, wie die Philosophin Christiane Voss argumentiert, unseren Körper leihen, damit der Film sich in unserer Erfahrung realisiert.“[12]

Epilog

Und eine Auslegung von Mensch-Sein analog zum Maschine-Sein? „Dabei darf man nicht übersehen, dass sich hinter der Selbstbeschreibung menschlicher Intelligenz als Implementierung einer abstrakten Software kalifornische Heilsversprechen verbergen. In Zeiten globaler Wirtschaftskonkurrenz geht es auch darum, neuen industrielle Zweige und damit Kunden zu erschließen. Da ist es hilfreich, wenn die Kunden jedes Software-Upgrade auf ihren Smartphones oder soziale Netzwerke als Zeichen einer Heilsgeschichte auffassen. Dagegen sollten KI und Philosophie im Namen eines besseren Verständnisses der menschlichen Intelligenz gemeinsam vorgehen.“[13]

Markus Pohlmeyer lehrt an der Europa-Universität Flensburg. Seine Zwischenbetrachtung der Serie während Staffel 4 gibt es hier.

II Orwell war gestern, heute sind wir weiter!

Essay von Alexander Jöckel/10.3.17

Wer die Serie unter technischen Gesichtspunkten betrachtet, wird immer wieder gewisse Ungereimtheiten feststellen können. Jedoch erhebt die Serie auch keinen Anspruch auf vollständige Authentizität. Eher eröffnet sie einen Spielraum, angefüllt mit Fragen. Kritik am Überwachungssystem der USA? Shaw über die NSA: „Das sind nur Kranke, die geil aufs Abhören sind. Orwell war zu optimistisch.“[14] Wurde die Serie vielleicht deswegen so zügig abgesetzt, weil sie unbequem wurde? In den Extras der DVDs[15] wird darauf hingewiesen: Die Autoren der Serie haben Anfang 2011 den Handlungsstrang experimentierfreudig durch Ausloten von Möglichkeiten entwickelt. Dann zeigte Edward Snowden[16] 2013, wie viel Abhörtechnik bei den amerikanischen Nachrichtendiensten bereits im Einsatz war. Die Realität überholte die Science Fiction-Motive der Serie schneller, als die Autoren es damals erwarteten. Und: Welche Entwicklungen werden hintergründig getätigt, von denen wir erst gar nichts erfahren (sollen)? Dabei laufen schon viele technische Prozesse im Hintergrund, die unser Leben beeinflussen, wie z.B. Hochfrequenz-Trading von Aktien, automatisierte Informationsverbreitung, Verkehrsleitsysteme usw. Dies alles funktioniert aber nur nach den einprogrammierten Regeln, die wiederum meist kapitalistischen Strömungen untergeordnet sind. Was aber wäre, wenn eine KI entschiede, dass es anders zu laufen habe? Ob diese KI auch die Schwächen ihrer Schöpfer simulieren und wiederholen würde oder gar nur ein Abbild davon wäre?

Eine einfache Fernsteuerung eines Schlachtschiffs zum Abschuss einer Rakete oder Abhören einer Internetkamera, wie in der Serie?[17] Mit genügend Motivation, Rechenleistung und Zeit kann jede von Menschenhand geschaffene Codierung überwunden werden. Und wie das sogenannte Social Engineering gezeigt hat, ist der Mensch meist die Schwachstelle jedes Sicherheitssystems. Und da gibt es ja noch die anderen Internet of Things (IoT)-Geräte. Ist es denn notwendig, dass jeder Toaster oder jede Waschmaschine am Internet hängen und dem heimatlichen Firmenserver mitteilen, was der Anwender/die Anwenderin gerade so macht? Mit diesen Informationen lassen sich Benutzerprofile ermitteln, was Google mit NEST-Geräten[18] (Kameras, Rauchmeldern, Thermostaten) schon längst umsetzt: ab wann jemand zu Hause und bereit ist, mit Werbung bombardiert zu werden! Und Vorläufer von KIs sind heute bereits schon in Suchmaschinen im Einsatz (z.B. Alexa, Siri).[19]

Simulation kann sich als Abbild immer nur der Realität annähern, aber definitionsgemäß damit nie vollkommen deckungsgleich sein. Kann sie aber selbst zur (eigenständigen) Realität werden? Wäre eine simulierte Seele gleichwertig mit einer menschlichen Seele (siehe die Serie Caprica[20])? Keiner kann heute sagen, dass Maschinen menschliche Qualitäten wie Intelligenz oder gar Loyalität simulieren können. Wie Finch meinte, Gut und Böse seien menschliche Begriffe. Klassische Maschinen folgen eben nur ihrer eingebauten Funktion. Würde das bei einer KI anders sein können? Kann sie sich über ihre Programmierung erheben? Menschen ist Sozialverhalten angeboren und wird durch kulturelle Erziehung forciert. Finch begrenzt seine Maschine aus Angst, was aus ihr ohne Grenzen werden könnte. Er gibt ein paar tausend Zeilen Programmiercode ein und schon wird das Ding quasi-lebendig?

Aber was passiert wirklich in dieser Black Box? Neuronale Netzwerke, die Grundfunktionen des Gehirns simulieren können, werden vom Anwender zwar vorbereitet und gestartet; was sie jedoch lernen und wie sie sich entwickeln, kann ein Programmierer ab einer gewissen Komplexität von Außen nicht mehr nachvollziehen.[21] Es ist damit vergleichbar, als ob man ein menschliches Gehirn im MRT betrachtet und nach dem Bewusstsein sucht. Kann eine Maschine uns jemals ähnlich sein oder denkt sie eher wie etwas Nicht-Menschliches, das versucht menschliche Verhaltensweisen zu simulieren? Wann wird aus einer Datenbank Leben? Und sind wir bereit, eine weitere dominante Lebensform neben uns zu akzeptieren? Oder läuft es zwangsläufig auf einen Vernichtungskrieg hinaus (siehe Matrix[22])? Stuft uns eine Maschine letztendlich als destruktiven Feind ein (siehe Terminator [23]), den es zu bekämpfen gilt?

Warum denken Menschen, überspitzt formuliert, alles, was sie auf einem Computermonitor sehen, sei die Wahrheit? Woher kommt dieser unerschütterliche Glaube? Woher der Glaube von Root, dass die Maschine besser als ein Mensch handeln werde? Woher wissen Sie, dass Ihr Taschenrechner Ihnen nicht das Falsche anzeigt, weil er fehlerhaft von fehlerbehafteten Menschen konstruiert wurde? Das kann ebenso irreführend und gefährlich sein, wie eine mangelnde Differenzierung und Überprüfung von sogenannten ‚Alternativen Wahrheiten‘.

Wir erleben weltweit einen kontinuierlichen Rückbau von Bürgerrechten aus Angst vor Terrorismus – und gleichzeitig die massenweise und freiwillige Preisgabe von Privatsphären. Die staatlichen Überwachungsdienste vergangener Zeiten wären überglücklich gewesen, über solch ein Überwachungsinstrument zu verfügen, bei dem die Überwachten von sich aus die entsprechenden Informationen bereitstellen (Facebook, Twitter usw.) und auch noch für die Abhörgeräte (SmartTV, Notebooks, Smartphones usw.) selbst zahlen! Und diese Angst wird kräftig von der Politik geschürt, weil dies auch schon in der Vergangenheit Profit in Form von Macht gebracht hat – und der Industrie und dem Militär eine Erhöhungen des Umsatzes.

Letztendlich ist die Entwicklung von KI genau wie die Nuklearforschung ein wissenschaftlicher Fortschritt, der nicht wieder zurückgenommen werden kann. Die Menschheit muss dann zwangsläufig lernen, mit dieser andersartigen Intelligenz zu koexistieren, wenn sie erst Teil der Welt ist. Oder wird sich die Menschheit vor Schrecken von ihrer Schöpfung abwenden? Das hat schon damals bei „Frankensteins Monster“[24] und der Atombombe nicht wirklich gut funktioniert. Unsere Welt ist das, was wir daraus machen. Demokratie zum Beispiel ist gewiss nicht perfekt, sondern ein ausbaufähiger Anfang, vorausgesetzt die Menschheit überlebt ihr Handeln. Einige wenige Personen bestimmten bisweilen den Lauf der Welt, worauf die Serie auch hinweist. Aber es sind die willfährigen Unterstützer und Profiteure, die ihnen die Macht verleihen und den ideologischen und/oder religiösen Wahn in Taten umsetzten. Weder Hitler, Mao, Stalin oder das fiktive Samaritan waren allein zu ihren Verbrechen wie Euthanasie, Säuberungsaktionen oder Völkermord fähig. Und Finch steht wie ein hilfloser Stellvertreter des Gewissens daneben und fleht die Bösen an, ja nicht das Falsche zu tun, und ist dennoch unfähig, sie gewaltlos davon abzuhalten; denn die machen natürlich immer wider besseren Wissens ungerührt weiter im Programm, denn es zählt ja nur der kurzfristige Gewinn und nicht das langfristige Gewissen.

Die Autoren haben mit dieser Serie eine vielfältige Diskussionsplattform geschaffen, die dazu anregt, die Geschichte zu reflektieren und auch weiter zu denken (auch aufgrund des offenen Endes). Man denke nur an den endlos erscheinenden virtuellen Kampf von künstlichen Göttern im „Himmel“, hochgeladen in einen Satelliten. Alte gegen neue Ordnung! Und der Gewinner droht, jederzeit zur Erde zurückzukehren.

Alexander Jöckel ist Dipl.-Ing. für Automation und Robotik

Zu den CrimeMag und LitMag-Texten von Markus Pohlmeyer geht es hier.

Anmerkungen:

[1] Aus stilistischen Gründen habe ich hier auf ein Komma bzw. Punkt verzichtet. Vgl. auch Markus Pohlmeyer: Person of Interest oder Von der Geburt einer Göttin, digital, in: Ders.: Zwischen Welten verstrickt II. Essays zu (pop)kulturellen Phänomenen, Flensburger Studien zu Literatur und Theologie, Bd. 6, Hamburg 2016, 81-92.

[2] U. Furbach: Schmuddelkind ade. Das Fachgebiet „Künstliche Intelligenz“, in: Forschung & Lehre, 6/16, 474-477, hier 474.

[3] V. Hediger: Simulation einer Lebenswelt. Erlebbare Technikfolgenabschätzung im Kino, in: Glanzlichter der Wissenschaft. Ein Almanach, hg. vom Deutschen Hochschulverband, Heidelberg 2016, 81-83, hier 82.

[4] F. J. Tipler: Die Physik der Unsterblichkeit. Moderne Kosmologie, Gott und die Auferstehung der Toten, übers. v. I. Leipold u.a., 3. Aufl., München 1998, 273.

[5] Tipler: Physik (s. Anm. 4), 279.

[6] J. Funke: Intelligenz als Überlebenshelfer. Von der Freiheit des menschlichen Denkens, in: Forschung & Lehre, 6/16, 478-479, hier 479.

[7] Vgl. dazu Person of Interest, Fünfte Staffel, ©2017 Warner Bros. Entertainment Inc.

[8] I. Trojanow – J. Zeh: Angriff auf die Freiheit. Sicherheitswahn, Überwachungsstaat und der Abbau bürgerlicher Rechte, München 2009, 81.

[9] K. Müller: Endlich unsterblich. Zwischen Körperkult und Cyberworld, Kevelaer 2011, 107.

[10] Müller: Endlich unsterblich (s. Anm. 9), 107.

[11] Eine Variation zu: T. Nagel: What Is It Like to Be a Bat? Wie ist es, eine Fledermaus zu sein? Engl./Dt., übers. u. hg. v. U. Diehl, Stuttgart 2016.

[12] Hediger: Simulation (s. Anm. 3), 83.

[13] M. Gabriel: Jenseits der Heilversprechen. KI und Philosophie sollten für die menschliche Intelligenz eintreten, in: Forschung & Lehre, 6/16, 482-484, hier 484.

[14] Person of Interest, Fünfte Staffel, ©2017 Warner Bros. Entertainment Inc.

[15] Person of Interest, Fünfte Staffel, ©2017 Warner Bros. Entertainment Inc.

[16] Vgl. dazu https://de.wikipedia.org/wiki/Edward_Snowden, 25. Januar 2017, 10:34 Uhr.

[17] Vgl. dazu http://www.spiegel.de/netzwelt/netzpolitik/wikileaks-zu-cia-wie-gefaehrlich-sind-die-cyberwaffen-des-us-geheimdienstes-a-1137843.html 09.03.2017, 10:53 Uhr.

[18] Vgl. dazu http://www.spiegel.de/netzwelt/gadgets/nest-uebernahme-google-will-in-ihr-schlafzimmer-a-943406.html, 14.01.2014, 11:53 Uhr.

[19] Vgl. dazu http://www.pcwelt.de/a/hardware-trends-2017-kuenstliche-intelligenz,3386316, 31.01.2017, 09:10 Uhr.

[20] CAPRICA, © 2013 Universal Studios.

[21]Vgl. dazu http://www.zeit.de/digital/datenschutz/2016-10/google-kuenstliche-intelligenz-erfindet-eigene-verschluesselung, 31. Oktober 2016, 16:21 Uhr.

[22] The Matrix, © 1999 Warner Bros.

[23] The Terminator, © 1984 MGM.

[24] Mary Shelly: Frankenstein; or The Modern Prometheus (Original Uncensored 1818 Edition), Benediction Classics 2016.