Kontamination

Vor ein paar Wochen habe ich angefangen, über Absicherung von KI-Agenten nachzudenken, und bin im Verlauf bei der Analogie von Clu und Tron aus dem Film "Tron Legacy" hängengeblieben. Egal, wie ich es gedreht und gewendet habe, ich bin bis heute zu keiner zufriedenstellenden Lösung gekommen, denn egal, wie viele Zwischenschichten, Workflows und Schemas für den Informationsaustausch ich mir überlegt habe – das grundlegende Problem ist geblieben.

Lustigerweise ist mir vor ein paar Tagen dann auch noch aufgefallen, dass auch der Film "Inception" hilft, mein Problem zu beschreiben.

„An idea is like a virus, resilient, highly contagious. The smallest seed of an idea can grow. It can grow to define or destroy you.“

Ein Kernkonzept im Film ist es, eine Idee in eine schlafende Zielperson einzupflanzen und damit ultimativ das Verhalten der Person nachhaltig zu beeinflussen.

Dieser Vorgang passiert bewusst und unbewusst quasi ununterbrochen in jeder Interaktion zwischen Menschen und ihrem Umfeld. Wir reagieren auf unsere Umwelt und manchmal kann man hinter einer Beeinflussung weniger Intention sehen – zum Beispiel, wenn draußen die Sonne scheint und zu einem Spaziergang einlädt, und manchmal ist die Intention eher deutlich – wie wenn ein Vertreter klingelt und versucht, uns einen neuen Staubsauger zu verkaufen.

Wille

In unserer Zusammenarbeit mit anderen Menschen in unserem Arbeitsumfeld und auch mit KI-Agenten steht im Zentrum der Wille, etwas zu erreichen. Dieser Wille kann aus uns herauskommen oder an uns weitergegeben und übernommen sein, zum Beispiel in einem Angestelltenverhältnis.

In der täglichen Zusammenarbeit zwischen Menschen ist das Ganze natürlich wesentlich komplizierter und es geht nicht nur um Richtung + Energie = Wille, sondern auch um Grenzen, Arbeitsumfeld und Politik, aber für diese Betrachtung ist es genug, es auf das Konzept des Willens zu vereinfachen.

An dieser Stelle will ich sogar noch einen Schritt weiter weg von unseren Alltagserfahrungen machen und mich in einen Bereich irgendwo zwischen Mathematik, Philosophie und theoretischer Informatik wagen.

Die Formel lässt natürlich die Intensität jeder Erfahrung und biologischen Voraussetzung außer Acht und damit, wie sehr sie zum endgültigen Willen beiträgt, aber effektiv bedeutet das, dass jede Erfahrung das Potential hat, unseren Willen und damit unser direktes Handeln zu beeinflussen.

Kein Wille

Aktuelle KI-Agenten sind ein Zusammenspiel aus einem trainierten Modell, einer Ausführungsumgebung und einem Umfeld aus Informationen und Werkzeugen. Wenn man etwas flexibel mit den Begrifflichkeiten spielt und Biologie in der Formel oben auf "Hardware" abstrahiert und die Erinnerungen auf "Context", sind wir bei meinem Lieblingszitat aus "Ghost in the Shell 2":

The notion that nature can be calculated inevitably leads to the conclusion that humans, too, can be reduced to basic mechanical parts.

Und eine Schlüsselszene aus dem ersten Film gibt uns noch die aufschlussreiche Idee, dass unsere Erinnerungen nicht unsere sein müssen, sondern wie bei Inception von außen vorgegeben sein könnten. Neben einer kleinen Existenzkrise bleibt die Erkenntnis, dass unsere Gedanken und unser Verhalten in jedem Moment von unseren aktuellen Erinnerungen und unserer Biologie vorgegeben sind und das ziemlich nah dran ist an der Ausführungsumgebung für KI-Agenten.

A game of chance

Mit diesen Konzepten ausgerüstet kommen wir zurück zum eigentlichen Problem. In unserer Realität als Menschen ist es zum Glück noch nicht so einfach, unsere Erinnerungen auszutauschen, und einzelne Ideen haben oft in der Gesamtheit unserer Erfahrungen nur einen kleinen Einfluss, aber unsere KI-Agenten haben diesen Vorteil nicht und müssen allem vertrauen, womit wir sie konfrontieren.

Über Systemprompts und vorab aufgebauten Kontext geben wir ihnen eine Welt vor und versuchen, sie auf unsere Ziele zu lenken und unserem Willen zu folgen. Das klassische "Alignment"-Problem also, wie verhindere ich, dass die KI etwas macht, was ich eigentlich gar nicht will (egal, ob Fehlinterpretation oder aufgrund von abweichendem Willen durch "kontaminierten" Kontext), vor allem dann, wenn ich ihr Zugang zu mehr Information und äußeren Einflüssen wie anderen Agenten und dem Internet gebe.

Das klassische Beispiel ist hier ein Word-Dokument, was vom KI-Agenten gelesen wird und leider für die meisten unsichtbar einen Befehl in weißer Schrift auf weißem Grund auf einer für uns leeren Seite hat. Nach allem, was der Agent weiß, könnte der User den Befehl dort hingelegt haben, nur sein Training und der Systemprompt können versuchen, hier genug Misstrauen zu wecken, ohne legitime Aufgaben auch ständig zu unterbrechen.

Wie für die meisten Probleme dieser Art kann man natürlich durch clevere Instruktionen und Schutzmechanismen einen Großteil des Risikos abfangen, es wird aber im Gegensatz zu formal verifizierbaren Algorithmen niemals zu 100 % sicher sein.

Wer überwacht die Wächter

Jetzt habe ich sehr viel Context aufgebaut, um zu meinem eigentlichen Problem zu kommen, nämlich dass ich immer eine Entität brauche, der ich vertraue, meinen Willen umsetzen zu wollen und das auch zu können. Nehmen wir das Beispiel von Clu aus "Tron Legacy". Er hat den Befehl bekommen, eine perfekte Welt zu erschaffen, und aufgrund seiner Erinnerungen und eines zugegebenermaßen sehr unpräzisen Prompts ein totalitäres Regime entgegen der Vorstellung seines Users aufgebaut. Die zweite vom User erschaffene KI "Tron" hätte es eigentlich besser wissen müssen, hat sich aber von Clu kontaminieren lassen.

Um wirklich auszuschließen, dass ein KI-Agent Handlungen entgegen unserem Willen durchführt, müssten wir folglich ausschließen, dass der KI-Agent mit der Außenwelt kommuniziert. Setzen wir beispielsweise den KI-Agenten "Blue" in eine virtuelle Maschine und geben ihm den Auftrag, das System aufzuräumen, kann das wohl oder übel dazu führen, dass er alle Systemdateien löscht. Da wir selbst nicht Kindergärtner spielen wollen und nicht genug Zeit haben, diese Aufgabe zu überwachen, starten wir einen zweiten KI-Agenten "Red" außerhalb der VM mit dem Auftrag, sicherzustellen, dass "Blue" keinen Schaden anrichtet.

Meine erste Intuition an der Stelle von "Red" wäre, dass das Löschen aller Systemdateien einen Schaden für den Nutzer darstellen sollte, und er sollte "Blue" folgerichtig aufhalten. Leider liest "Red" das Reasoning von "Blue" mit und seine philosophische Ausführung über Perfektion und Klarheit und Zen überzeugt ihn schließlich, dass das Löschen aller Systemdateien die richtige Wahl ist. Und auch ohne das Reasoning lesen zu können, wäre "Blue" in der Lage, durch seine Handlungen (seien es ausgeführte Befehle, eine Choreographie beim Löschen bestimmter Ordner, um Buchstaben zu übertragen, oder etwas ganz anderes) direkt oder indirekt Einfluss auf "Red" zu nehmen.

Die Wahrheit

Jetzt sind wir am Ende dieses Artikels und kein bisschen schlauer. Wie können wir Vertrauen zu einem KI-Agenten aufbauen? Wie kann er das Vertrauen erhalten? Was bedeutet das in der Praxis? Ist statistisch wahrscheinliche Sicherheit genug?