Im Gespräch: Erfindung und Modelle

Es ist ein kühler Herbsttag in der Industrie. Zwei Männer, beide um die 70, stehen auf der Dachterrasse eines wirklich sehr großen Rechenzentrums. Hinter ihnen die Kantine. Der Wind strömt ihnen um die Ohren mit knapp 3 Beaufort; er rauscht im Mikrofon, als wäre er ein Sturm. So wird das gepuschelte Mikrofon gestört, der Ton fast unverständlich, während der Mensch über Reihen von Klimaanlagenkisten hinweg in die Ferne auf einen Eichenbuchenmischwald blickt. Am Horizont Hochhäuser. Es ruht ein stetes Brausen in der Luft. Etwa fünf Meter vorne rechts knirscht ein Ventilatorgeräusch leise rhythmisch schleifend aus einer jener Kisten.

Gottlob von Treuensee (GvT): Lieber Dr. Zimmermann, herzlich willkommen zu einem weiteren Gespräch: Es wird wohl das letzte in dieser Reihe sein. Wie blicken Sie darauf zurück?
Christoph Zimmermann (CZ): Es war eine interessante Erfahrung.
GvT: Ich habe mich gewundert, dass Sie bei dieser Gesprächsreihe überhaupt mitgemacht haben. „Never complain. Never explain.“ Das ist doch Ihr Ding.
CZ: Was soll ich machen, wenn das Management mich bucht? 

Kreatives Schreiben:
Zwischen Hammer und Amboss

GvT: Lassen Sie uns über kreatives Schreiben und Vorbilder sprechen. Haben Sie welche?
CZ: Natürlich beeindrucken mich andere. Erfreulicherweise leben viele und sind erheblich jünger als ich. Ich scheue mich, von „Vorbildern“ zu sprechen. Das setzt Kommensurabilität voraus.
GvT: Also grundsätzliche Vergleichbarkeit in Anspruch und Umsetzung des künstlerischen Vorhabens?
CZ: Auch. Ich habe zu meinen Sachen keinen ausreichenden Abstand. Es geht eher um bestimmte Fertigkeiten oder Gestaltungskräfte, die ich bewundere. Und bei meinen Zeichnungen bewege ich mich in skripturalen Positionen, die dem Informel, dem Tachismus oder dem abstrakten Expressionismus nahestehen. Da werden Ihnen rasch ein paar Namen einfallen.
GvT: Was meinen Sie mit „Gestaltungsregeln“ – sie hatten „Gestaltungskräfte“  gesagt?
CZ: Vielleicht doch beides. Damit meine ich die Regeln, nach denen Texte konstruiert werden.Ein klassisches Beispiel sind Sonette. Die Silbenzahl und das Reimschema machen bestimmte Wörter wahrscheinlicher, manchmal erzwingen sie diese sogar. Sich unter diesem Druck natürlich bewegen zu können: Das bewundere ich sehr. 
GvT: Das klingt nach etwas, das KI-Systeme wie z. B. ChatGPT und Claude gut beherrschen müssten, oder?
CZ: Ich bevorzuge den Ausdruck „Sprachmodelle“. Interessanterweise tun sich damit beide schwer. Aber das mag sich ändern. Wir Menschen nutzen ja auch seit fünfhundert Jahren Reimlexika wie den Steputat und ähnliche. Der Unterschied ist nicht so groß, wie man denken könnte. Eben auch ein Algorithmus, eine Bildungsregel. Kategorial dasselbe.
GvT: Sie haben also eigene Erfahrungen mit solchen Modellen?

Wolkenkuckucksheim der Neuronen:
KI trifft auf Medizin

CZ: Das Thema ist: „Mustererkennung“. Wir Menschen schauen in den Himmel und erkennen Tiere in den Wolken – oder Sternen. Ja, wir haben in den 1990er-Jahren mit neuronalen Netzwerken gearbeitet. Dabei ging es um die Mustererkennung bei neurologischen Autoimmunerkrankungen, die wir mit dem Western Blot untersuchten. 
GvT: Das klingt komplex. Können Sie das für Laien verständlicher erklären?

Und ja, auch ein dreischichtiges neuronales Netzwerk mit Fehlerrückführung (Backpropagation) kam damals zum Einsatz. Mein Kollege Franz Grus hatte das Netzwerk über eine Verbindung in die USA bekommen, die mir inzwischen entfallen ist. Das Netzwerk konnte die besten Treffer bei der Mustererkennung erzielen, aber niemand wusste, warum. Der eigentliche Lernprozess blieb – damals wie heute  – nicht nachverfolgbar. Für uns war das maschinelle Lernen kein eigenständiger Forschungsgegenstand, sondern Werkzeug. Die Ergebnisse waren übrigens auch nicht einfach zu publizieren.
GvT: Und jetzt?
CZ: Noch mal: Das war neunzehnhundertpaarundneunzig. Nice, oder? Hauptsächlich, weil es dreißig Jahre her ist. Ich flechte das hier mal ein als Lagerfeuererzählung von den alten Zeiten.
GvT: Und wie sehen Sie den Einsatz von Sprachmodellen in Ihrem kreativen Schreiben?
CZ: Ich hatte ab etwa 2020 mit den damals auf TextSynth frei zugänglich gewordenen Eleuther.ai Modellen GPT-J6B und GPT NeoX 20B (1) mehr gespielt als gearbeitet. Das Gedicht „Tiefes Lernen, single shot“ z. B. ist im zweiten Teil stark auf TextSynth mit GPT-J6B bearbeitet. Ich habe das im Methodenteil unter „Texte“ beschrieben. Im November 2022 kam dann „ChatGPT für alle“. Für meine Ziele empfand ich es nicht hilfreich. Texte bekamen einen konfliktfrei weichgespülten KI-Einheits-Singsang. Vielleicht formulierte ich die Prompts falsch. Vielleicht hängen wir noch einige Zeit fest im tiefen „Uncanny Valley“ der Sprachmodelle. Es gibt einen Text, der ist reines ChatGPT 3.0: Die Einleitung zu „#58 Marco Stück“. Diesen Tonfall erkennt jeder sofort. Das Gedicht ist dann von mir. Macht also zwei KI-Texte insgesamt auf 150. Bisher. Das kann sich ändern.
GvT: Können große Sprachmodelle kreative „Partner“ für Autoren sein?

Sprachmodelle:
Die digitalen Dichter ohne Herzschlag?

Ein Beispiel: Robert Doisneaus weltberühmtes Foto „Le Baiser De L’Hotel De Ville“. Ein Large Language Model könnte das nicht aus dem Nichts erschaffen. Aber nachdem es existiert, könnten Modelle sehr wohl darüber schreiben, auch die Bilder weiter weben. Doch die Kreativität im Entstehungsmoment? Das bezweifle ich. Wobei wir besser nicht vergessen: Das Foto war gestellt und Doisneau ist mit dem Paar stundenlang durch Paris gelaufen. Es gab also methodisch/technische Entscheidungen im Vorfeld des fertigen Bildes. Also vielleicht doch. Vielleicht später. Vieles ist möglich. 
GvT: Sie sagen also, KI könnte keine echte Kreativität entwickeln. Aber ist es nicht eher so, dass auch viele menschliche Schöpfungen Reproduktionen oder Variationen bereits bestehender Werke sind?
CZ: Ja, das ist so und ist kein Gegenargument. Allein, dass ein Werk menschlichen Ursprungs ist, macht es nicht zu einer kreativen Leistung. Wir können den Begriff natürlich so weit fassen, dass er bedeutungslos wird. Die Sprachmodelle sind auch menschlichen Ursprungs. Im Übrigen haben wir über das Verhältnis zwischen Schreiben und Echos und Plagiaten schon unterhalten. Wir kommen hier in handlungstheoretische Fragen wie Verantwortung, Autorenschaft, („agency“). Das will ich vermeiden. Hauptsächlich, weil ich von all dem nichts verstehe. Können wir uns, bitte, auf meine Sachen beschränken?
GvT: Schade. Aber klar. Wird sich der Beruf des Autors durch KI-Technologien verändern? Ich weiß, Sie sprechen lieber von „Sprachmodellen“.
CZ: Funktionale Analphabeten können jetzt Romane schreiben. Autoren, die nichts Neues schaffen, werden durch größere und weiter optimierte Sprachmodelle verdrängt werden. Die Mittelklasse, die verlässlich Texte für Spicy-SciFi-Romance oder den lokalen Möbelmarkt produziert, wird unter Druck geraten. Das sehen wir heute bei Illustratoren im Layout- und Werbebereich. KI pumpt einfach mehr Inhalte, schneller und billiger. Diese Massenproduktion trifft vor allem die Mittelschicht der Kreativen. Das Culture-Fracking der Modelle ändert die Ökonomie des Biotops. Es wird gekämpft.
GvT: Sie sprechen von der ‚Mittelschicht‘, die durch KI unter Druck gerät. Warum beklagen Sie sich über diese Entwicklung, wenn sie doch schlicht Teil des technologischen Fortschritts ist, den auch Sie selber nutzen?
CZ: Ich beklage mich nicht, ich beschreibe. Und die Änderungen im Alltag der von diesen Arbeiten abhängigen Menschen und deren Familien sind vorhanden und in Euro messbar. Wie bei den Webern.
GvT: Wenn Sprachmodelle doch so wenig Kreativität besitzen, warum fassen sie in kreativen Feldern wie Kunst und Literatur immer mehr Fuß? Ist das nicht ein Widerspruch?
CZ: Ganz sicher nicht. Die Ausbreitung ist zwangsläufig. Die Modelle bearbeiten konkrete Aufgaben und Themen mit ihrer algorithmischen Kombinatorik schneller und billiger als ein Mensch und mit ihrer hart trainierten Nähe zum Durchschnitt des Erwartbaren sicher auch gefälliger. Das ist kundenfreundlich und bietet im Wettbewerb wirtschaftliche Vorteile.
GvT: Die Auswirkungen der Modelle werden in verschiedenen Genres unterschiedlich spürbar? 
CZ: Vermutlich, aber das weiß ich nicht.
GvT: Was erwarten Sie für Ihre Arbeit?

Politische Reden:

CZ: Hier ist ein Beispiel: Ich hatte dem LLM Claude unmittelbar nach den Solinger-Messermorden einen Prompt vorgegeben, in der Rolle eines Politikers eine Ansprache mit 200 Wörtern zu erzeugen. Ich bitte Sie sehr, lieber Treuensee, das sprachliche Interesse vom Mitgefühl zu unterscheiden. Ich habe in meinem Leben eine Reihe von Beileidsbriefen geschrieben. Die waren einander eben immer im Großen und Ganzen ähnlich, auch wenn ich jedesmal neu traurig war. Das von Claude gelieferte Ergebnis war dann ein Archetyp der Reden, die tatsächlich nach der Tat gehalten wurden. „KI-Systeme“ funktionieren anscheinend in Bereichen wie politischen Standardreden gut. Für öffentliche Äußerungen in politischem Rahmen gelten Regeln. Sie haben eine innere Folgerichtigkeit und werden durch die Algorithmen eines großen Sprachmodells nachvollzogen, abgebildet und reproduziert. Kreativität ist da nicht gefragt, sondern Regelmäßigkeit und Verlässlichkeit. Rituale. In solchen Fällen textet das Modell, was erwartet wird. Der Hersteller einer Waschmaschine oder eines Toasters kann die Originalität des Produktes nicht durch expressive Farbigkeit der Gebrauchsanweisung beweisen.
GvT: Also je klarer die Vorgabe, desto wahrscheinlicher wird das Modell einen akzeptablen Text liefern? 
CZ: Absolutely anything.
GvT: Was ist mit Lyrik?

Lyrik im Zeitalter der Algorithmen:
Mensch vs. Maschine

CZ: Die Sprachmodelle passen sich dem erwarteten Tonfall an, und das funktioniert oft gut. Emails und Reden sind Beispiele. Kreativität ist anstrengend im Alltag am empfangenden Ende. Es geht nicht darum, dass die Programme intelligent sind. Sie sollen auf uns Menschen, also Kundennni, intelligent wirken, als ob „sie“ (die es nicht gibt) „uns“ (die es nicht gibt) verstehen würden, was „wir“ in unseren vielfältigen Einsamkeiten gerne glauben. Die Modelle geben aus, was wir selbst zuvor in ähnlichen Leben und Reden und Schreiben viele Male gesagt und eingeübt, in unseren Milliarden Mündern rundgeschliffen haben, und spucken des Demosthenes‘ Kiesel in die Reihenfolge der Wahrscheinlichkeit auf den Sand an Lethes vielortigem Ufer. Lyrik spricht uneigentlich, mehrdeutig und eben auch immer wieder unlogisch scheinbar zusammenhanglos und wild. Lyrik ist die natürliche Ausdrucksform des leidenden Menschen. Wild weil Tier. Das fällt den Sprachmodellen nach meinem Eindruck eher schwer.
GvT: Kann modell-generierte Literatur die gleiche Tiefe und emotionale Resonanz erreichen wie menschlich verfasste Werke?
CZ: Das Modell hat nicht Tiefe noch Emotion. Es zeigt, was da ist. Tiefe und Emotion entstehen im Leser, und er schreibt sie im Lesen in den Text. Das kann sogar ein guter Text sein. Der kann auch emotionale Resonanz erzeugen. Lesen wir den Text eines Sprachmodells, lesen wir uns selbst. Diesen „Tod des Autors“, hatte Roland Barthes wohl nicht gemeint. Wäre er überrascht gewesen? Vielleicht. Erschrocken? Ich glaube nicht.
GvT: Die Verwendung von Texten, überhaupt Werken, für das Training der Modelle berührt Urheberrechte. Haben Sie dazu eine Meinung?
CZ: Berührt, ja. Meinung, weiß nicht. Stehlen ist bekanntlich eine Form der Schmeichelei. Ich bin ein so kleiner Copyrightwurm, das mir das egal sein darf. Ich wäre ja geschmeichelt. Ganz Europa diskutiert und schreibt darüber. Das wird irgendwann beschlossen und geregelt sein. Dann werden sich hoffentlich alle daran halten. Der Frieden kommt, und aus die Maus. Ich sehe etwas anderes: Welche Texte werden nicht verwendet? Das wird wichtiger werden.
GvT: Sie sprechen von Texten, die nicht ausreichend in die großen Sprachmodelle einfließen. Sie meinen Training-Bias?

Die blinden Flecken der KI:
Ein Kontinent wird übersehen

CZ: Ja. Aber „Training Bias“ ist entlang der aktivistisch vertretenen LGBT+ und BAME Bedürfnisse als Problem erkannt, fast schon durchdekliniert. Ein großer Teil der Daten stammt eben aus westlichen, weißen, männlich dominierten Quellen. Das alles ist gut dokumentiert.
GvT: Worauf wollen Sie hinaus?
CZ: Im Weinberg des Herrn fragt der lesende Arbeiter: Es gibt Weltregionen und Kulturen, die in den Sprachmodellen nicht sind. Was ist mit Afrika oder Südamerika oder Australien und Ozeanien? Ich spreche von der „Nicht-Verwendung nicht vorhandener Texte“.
GvT: Sie sprechen von Texten, die wohl da sind, aber aus mehr oder minder unklaren Gründen nicht angemessen in die Modelle eingearbeitet werden, also beim Training ganz oder teilweise unter den Tisch fallen. Das ist Training-Bias. Das Problem ist bekannt und wird, wie sie sagen, inzwischen weltweit diskutiert und auch intensiv bearbeitet. Sie scheinen aber auf die „unbekannten Unbekannten“ der Rumsfeld-Matrix hinauszuwollen?
CZ: Das Konzept der Sprachmodelle setzt voraus, dass Texte zum Training verwendet werden. Welche sind das? Große Textsammlungen, „Project Gutenberg“, „The Pile“. Das ganze Internet. Und so fort. Die Sprachmodelle fangen ja langsam an, ihre eigenen Produktionen aus dem Internet zu ziehen, weil die Texte ausgehen. Der Ouroboros.
GvT: Sie wollen darauf hinaus, dass dies nicht das Gesamte ist.
CZ: Ist es nicht. Ich sprach soeben davon, dass die ganz großen Sprachmodelle eigentlich alle in den Händen privater Wirtschaftsunternehmen sind und früher oder später Geld verdienen müssen. Open source Ausnahmen bestätigen die Regel. Was war das Internet zu DARPA-Zeiten? Männlich, weiß akademisch und militärisch. Insofern ist nachvollziehbar, dass die Trainingstexte der Modelle im Schwerpunkt westlich, weiß und kommerziell dominiert sein könnten. Viele Studien belegen das. Es wird intensiv an Kompensationen für diese Schiefheiten gearbeitet. Ganz sicher wird man für die großen Märkte noch etwas Spezielles machen, etwa Sprachmodelle, die speziell LGBT+ und BAME Themen im Westen, und irgendwas passendes für China oder Indien aufgreifen. Beide Riesen kommen auch ganz gut ohne Europa zurecht, wie man hört. Aber bei den großen Sprachmodellen oder generell der sogenannten „künstlichen Intelligenz“ sind ganze Kontinente leer auf der Karte, und zwar in Afrika und vermutlich auch in weiteren Regionen, also im globalen Süden. Alles ganz eurozentrisch betrachtet. 
GvT: Wird das jetzt nicht ein wenig schlicht und paternalistisch?

Die Kabel fehlen. Wo Wasser- und Stromangebot nicht zusammenkommen, wird nicht gebaut. Wenn ich in meiner Klause so schlicht denken kann, muss es ganze UNO-Abteilungen geben, die daran arbeiten. Wodurch sollen die erforderlichen Investitionen getrieben werden?
GvT: Das ist die Hardware-Frage. Was ist mit den Inhalten?
CZ: Welche Stimmen wollen Afrikaner? Wer spricht und wer wird transkribiert? Wie viele dürfen? In Sprachmodellen? In welcher Reihenfolge nach welchen Protokollen? Mit welchen Texten sollen die großen Modelle trainiert werden? Ein ganzer Kontinent hat in den gegenwärtigen Modellen keine angemessene Abbildung. Hiergegen sind die Diskussionen, die uns „Mitglieder der globalen Minderheit“ mit rassistischen und sexistischen und identitätspolitischen Stigmatisierungen umtreiben, Kleinkram. Dabei fällt schon alles, was mit afrikainternen Diskussionen oder nationalistischen und tribalistischen Fehden, Diktaturen und Bereicherungseliten zu tun hat, der Einfachheit halber unter den Tisch. Und es kommt noch schlimmer: Viele afrikanische Sprachen haben erst seit kurzer Zeit eine Verschriftlichung erreicht, also im späten 19. Jahrhundert bis in die 50er Jahre des 20. Jahrhunderts. Viele afrikanische Kulturträger sind Narrative, orale Historien; Schriftdokumente, insbesondere solche, die Hunderte von Jahren zurückreichen, gibt es sehr viel seltener als im sogenannten „Westen“. 
GvT: Wie können Sie es wagen, über afrikanische Kulturen zu sprechen, und so tun, als kämen Sie von dort? Das ist Neokolonialismus Hardcore!

Neokolonialismus 2.0:
Wenn KI Afrika vergisst

CZ: Das ist Unsinn. Es reicht, Karten lesen zu können. Ich muss kein Afrikaexperte und Kenner afrikanischer Kulturen sein, um ein Problem zu vermuten, wenn ich auf eine Karte sehe, oder bei Wikipedia finde, welche afrikanischen Sprachen wann Schriften entwickelten. Genau das haben sie oft nicht: viele Schriften wurden von namentlich bekannten Menschen erfunden, weil es sie nicht gab. Der Neokolonialismus reckt sein Haupt an anderer Stelle: Wir verschlimmern das alles weiter: Während wir auf der einen Seite wenig hilfreich sind, missbrauchen wir die zu knappen Ressourcen: Wir schicken unseren geistigen Abfall nach Afrika. Wir lassen unsere Pornos, die Snuff-Movies und Gewalt in Kenia und so weiter von Leuten taggen, die sich den ganzen Arbeitstag lang ansehen müssen, was wir aus unseren Sprachmodellen heraushalten wollen, damit sie schön so woke sauber bleiben und irgendwie moralisch wertvoll. Wenn die das zehn Stunden lang gemacht haben für ein paar Euro am Tag, gehen sie nach Hause mit den Kindern spielen.
GvT: Wie aber sollen diese kulturellen Aspekte — die Idee der kulturellen Allmende und der Fossilisierung und der umfassenden Mobilisierung kulturellen Wissens, Kommodifizierung — in Afrika und anderswo abgebildet werden?
CZ: Das weiß ich nicht. Wenn sie es nicht selber tun, wer täte es? Das wird den anderen sechs oder so Milliarden Menschen mehr oder minder egal sein. Die haben eigene Sorgen.
GvT: Also heute keine Rettung des großen, einheitlichen kulturellen Menschheitsmodells? Die großen Sprachmodelle als Wortschatz und Stimme der Menschheit. Ganz großes Kino.
CZ: So sehe ich das nicht. Ich bin überzeugt, diese Fragen bleiben bestehen und werden uns einholen. Das macht diese Art von Problem immer. Das kenne ich aus der Klinik. Nicht-wissen-wollen klappt nicht. So ist meine dialektische Alltagserfahrung. Wir haben zwei Hunde. Der alte heißt Camus, ein 13 Jahre alter Tibetspaniel. Der junge heißt Hegel, auch Tibetspaniel, 2 Jahre alt.
GvT: Wie meinen Sie das?
CZ: Wie Tabletten: viermal täglich zwei. Hunderunde. Nicht-wissen-wollen bringt Menschen um: Körper, Seele und Charakter. Ich vermute mal, das ist anderswo nicht anders.
GvT: Zum guten Schluss dann doch die Frage aller Fragen: Wer ist verantwortlich für KI-generierte Texte?

Der Autor ist tot, es lebe der Autor!

GvT: Diesen Klassiker der elektronischen Datenverarbeitung lassen wir gern so stehen. Ich danke Ihnen, lieber Dr. Zimmermann, für diese Gespräche.

GvT wendet sich professionell, leicht lächelnd, dabei kulturell ernst, motiviert und verlässlich an die Zuschauerinnen und Zuschauer, Zoom auf seine rechte Pupille hinter der Brille (beide scharf halten!) in der Mitte der Goldenen Spirale. Der Hintergrund versinkt leicht unscharf im Bokeh mit prononcierter, aber nicht übertriebener Vignettierung, Weißabgleich eher kühl. 

GvT: Ich danke auch Ihnen allen draußen an den Bildschirmen und Radioempfangsgeräten, wo auch immer Sie uns zusehen, für das Dabeisein und für das Mitmachen durch Einsenden Ihrer Fragen. Dr. Zimmermann ist für Gespräche erst einmal nicht mehr erreichbar, sagt sein Management. Er muss sich auf die nächste Werkfolge konzentrieren. Zuletzt wurde er in Köln gesehen, vor der Bibliothek des Japanischen Kulturinstituts am Aachener Weiher. So freuen wir uns wie in den letzten zwei Jahren: denn ab und zu da kommt etwas („Sie haben Post!“) und wieder dürfen wir uns fragen: Was will der Autor damit sagen?

Schwarzblende

(1) Diese Modelle sind inzwischen abgeschaltet und durch neuere ersetzt: https://textsynth.com/completion.html

Abbildungen – mit Ausnahme des Westernblots – erstellt mit Adobe Firefly
Text: Christoph Zimmermann