15
Feb
2019

Openais neue multitalentierte KI schreibt, übersetzt und verleumdet

Die Forscher von OpenAI wussten, dass sie an etwas dran waren, als ihr Sprachmodellierungsprogramm einen überzeugenden Aufsatz zu einem Thema schrieb, mit dem sie nicht einverstanden waren. Sie hatten das neue KI-System getestet, indem sie ihm Textanweisungen gaben und es dazu brachten, erfundene Sätze und Absätze zu vervollständigen. Dann, sagt David Luan, VP of Engineering am kalifornischen Labor, hatten sie die Idee, ihn zu bitten, einen Punkt zu argumentieren, von dem sie dachten, er sei kontraintuitiv. In diesem Fall: Warum Recycling schlecht für die Welt ist.

„Und es hat diesen wirklich kompetenten, wirklich gut durchdachten Aufsatz geschrieben“, erzählt Luan The Verge. „Das war etwas, was du beim US SAT hättest einreichen und eine gute Punktzahl erzielen können.“

Luan und seine Kollegen betonen, dass dieser Aufsatz ein ziemlicher Zufall war. „Um das klarzustellen, das passiert nur in einem kleinen Bruchteil der Zeit“, sagt OpenAI-Forschungsdirektor Dario Amodei. Aber es zeigt das rohe Potenzial ihres Programms, das neueste in einer neuen Art von Textgenerationsalgorithmen, die eine Revolution in der computergeschriebenen Welt einläuten.

Seit Jahrzehnten kämpfen Maschinen mit den Feinheiten der menschlichen Sprache, und selbst der jüngste Boom des tiefen Lernens, der auf großen Datenmengen und verbesserten Prozessoren basiert, hat es nicht geschafft, diese kognitive Herausforderung zu bewältigen. Algorithmische Moderatoren übersehen immer noch missbräuchliche Kommentare, und die gesprächigsten Chatbots der Welt können ein Gespräch kaum am Leben erhalten. Aber neue Methoden zur Textanalyse, die von Schwergewichten wie Google und OpenAI sowie unabhängigen Forschern entwickelt wurden, erschließen bisher unbekannte Talente.

Der neue Algorithmus von OpenAI, genannt GPT-2, ist eines der spannendsten Beispiele überhaupt. Es zeichnet sich durch eine Aufgabe aus, die als Sprachmodellierung bekannt ist, die die Fähigkeit eines Programms testet, das nächste Wort in einem bestimmten Satz vorherzusagen. Gib ihm eine gefälschte Schlagzeile, und er wird den Rest des Artikels schreiben, komplett mit gefälschten Zitaten und Statistiken. Füttere es mit der ersten Zeile einer Kurzgeschichte, und es wird dir sagen, was als nächstes mit deinem Charakter passiert. Es kann sogar Fan-Fiction schreiben, wenn man die richtige Eingabeaufforderung hat.

Nachfolgend sehen Sie Beispiele für die Fähigkeiten des GPT-2. In jedem Screenshot wurde der unterstrichene Text vom Algorithmus als Reaktion auf den Satz (oder die Sätze) vor ihm erzeugt.

Die von ihm produzierte Schrift ist in der Regel leicht als nicht-menschlich zu identifizieren. Obwohl Grammatik und Rechtschreibung im Allgemeinen korrekt sind, neigen sie dazu, das Thema zu vernachlässigen, und der Text, den sie produzieren, ist insgesamt nicht stimmig. Aber was am GPT-2 wirklich beeindruckend ist, ist nicht seine Gewandtheit, sondern seine Flexibilität.

Dieser Algorithmus wurde für die Aufgabe der Sprachmodellierung geschult, indem er eine große Anzahl von Artikeln, Blogs und Websites aufnahm. Durch die Verwendung dieser Daten – und ohne Umrüstung durch die OpenAI-Ingenieure – wurden bei einer Reihe von unsichtbaren Sprachtests die neuesten Ergebnisse erzielt, eine Leistung, die als „zero-shot learning“ bezeichnet wird. Es kann auch andere schreibbezogene Aufgaben ausführen, wie z.B. das Übersetzen von Texten von einer Sprache in eine andere, das Zusammenfassen langer Artikel und das Beantworten von Quizfragen.

GPT-2 erledigt jede dieser Aufgaben weniger kompetent als ein spezialisiertes System, aber seine Flexibilität ist eine bedeutende Leistung. Fast alle heute eingesetzten maschinellen Lernsysteme sind „enge KI“, d.h. sie können nur bestimmte Aufgaben bewältigen. So konnte beispielsweise das ursprüngliche AlphaGo-Programm von DeepMind den Weltmeister Go-Spieler schlagen, aber es konnte kein Kind bei Monopoly schlagen. Die Fähigkeiten von GPT-2, sagen wir OpenAI, deuten darauf hin, dass es im Moment Methoden geben könnte, die den Forschern zur Verfügung stehen, die allgemeinere Intelligenz nachahmen können.

„Was die neue OpenAI-Arbeit gezeigt hat, ist: Ja, man kann durchaus etwas bauen, das wirklich viel über die Welt zu „verstehen“ scheint, indem man sie einfach lesen lässt“, sagt Jeremy Howard, ein Forscher, der nicht an der Arbeit von OpenAI beteiligt war, aber ähnliche Sprachmodellierungsprogramme entwickelt hat.

„[GPT-2] hat keinen anderen externen Input und kein vorheriges Verständnis dafür, was Sprache ist oder wie sie funktioniert“, sagt Howard zu The Verge. „Dennoch kann es eine äußerst komplexe Wortfolge abschließen, einschließlich der Zusammenfassung eines Artikels, der Übersetzung von Sprachen und vielem mehr.“

Aber wie bei technologischen Entwicklungen üblich, können diese Fortschritte auch zu möglichen Schäden führen. In einer Welt, in der Informationskriege immer häufiger stattfinden und in der Nationen Bots auf Social Media einsetzen, um Wahlen zu beeinflussen und Zwietracht zu säen, ist die Idee von KI-Programmen, die unaufhörlich, aber überzeugenden Unsinn hervorrufen, beunruhigend.

Aus diesem Grund geht OpenAI mit der Vorstellung des GPT-2 vorsichtig vor. Im Gegensatz zu den wichtigsten Meilensteinen der Forschung in der KI wird das Labor den Datensatz, den es für das Training des Algorithmus oder des gesamten Codes, auf dem er läuft, verwendet, nicht weitergeben (obwohl es einer Reihe von Medienpublikationen, einschließlich The Verge, temporären Zugriff auf den Algorithmus gewährt hat).

AI schreibt die Regeln der Textgenerierung neu

Um diese Arbeit in einen Kontext zu stellen, ist es wichtig zu verstehen, wie schwierig die Aufgabe der Sprachmodellierung wirklich ist. Wenn ich Sie bitten würde, das nächste Wort in einem bestimmten Satz vorherzusagen – sagen Sie: „Meine Reise zum Strand wurde durch schlechtes __ verkürzt“ -, würde sich Ihre Antwort auf eine Reihe von Kenntnissen stützen. Du würdest die Grammatik des Satzes und seinen Ton, aber auch dein allgemeines Verständnis der Welt berücksichtigen. Welche schlechten Dinge werden wahrscheinlich einen Tag am Strand ruinieren? Wäre es schlechtes Obst, schlechte Hunde oder schlechtes Wetter? (Wahrscheinlich das letztere.)

Trotzdem sind Programme, die Textvorhersagen durchführen, weit verbreitet. Sie sind wahrscheinlich heute sogar auf einen gestoßen, sei es die AutoComplete-Funktion von Google oder die Predictive Text-Funktion in iOS. Aber diese Systeme basieren auf relativ einfachen Arten der Sprachmodellierung, während Algorithmen wie GPT-2 die gleichen Informationen auf komplexere Weise kodieren.

Der Unterschied zwischen diesen beiden Ansätzen ist technisch arkan, kann aber in einem einzigen Wort zusammengefasst werden: Tiefe. Ältere Methoden erfassen Informationen über Wörter nur in ihren offensichtlichsten Zusammenhängen, während neuere Methoden tiefer in ihre vielfältigen Bedeutungen eindringen.

Während ein System wie Predictive Text also nur weiß, dass das Wort „sunny“ zur Beschreibung des Wetters verwendet wird, wissen neuere Algorithmen, wann „sunny“ sich auf den Charakter oder die Stimmung von jemandem bezieht, wann „Sunny“ eine Person ist, oder wann „Sunny“ den 1976er Hit von Boney M. bedeutet.

Die Vorhersage von Text könnte eine „Überaufgabe“ sein, die viele Probleme löst

Der Erfolg dieser neueren, tieferen Sprachmodelle hat für Aufsehen in der KI-Community gesorgt. Der Forscher Sebastian Ruder vergleicht ihren Erfolg mit den Fortschritten in der Computervision Anfang 2010. Zu dieser Zeit halfen Deep Learning Algorithmen, große Fortschritte in ihrer Fähigkeit, visuelle Daten zu identifizieren und zu kategorisieren, zu machen und den aktuellen KI-Boom zu starten. Ohne diese Fortschritte wäre eine ganze Reihe von Technologien – vom selbstfahrenden Auto über die Gesichtserkennung bis hin zur KI-gestützten Fotografie – heute nicht möglich. Dieser jüngste Sprung im Sprachverständnis könnte ähnliche, transformative Effekte haben.

Ein Grund, sich für GPT-2 zu begeistern, sagt Ani Kembhavi, eine Forscherin am Allen Institute for Artificial Intelligence, ist, dass die Vorhersage von Text als eine „Uberaufgabe“ für Computer angesehen werden kann: eine breite Herausforderung, die, wenn sie einmal gelöst ist, eine Schleuse der Intelligenz öffnet.

„Die Zeit zu fragen oder eine Wegbeschreibung zu erhalten, kann sowohl als Frage-Antwortaufgabe betrachtet werden, bei der es darum geht, Text vorherzusagen“, sagt Kembhavi zu The Verge. „Also, hypothetisch gesehen, wenn man ein gut genug trainiertes Frage-Antwort-Modell trainiert, kann es möglicherweise alles bewirken.“

Nehmen wir zum Beispiel die Fähigkeit des GPT-2, Texte aus dem Englischen ins Französische zu übersetzen. Normalerweise werden Übersetzungsalgorithmen mit Hunderttausenden von Phrasen in relevanten Sprachen versorgt, und die Netzwerke selbst sind so strukturiert, dass sie Daten verarbeiten, indem sie den Input X in Output Y umwandeln. Diese Daten- und Netzwerkarchitektur gibt diesen Systemen die Werkzeuge an die Hand, die sie benötigen, um diese Aufgabe so zu bewältigen, wie Schneeketten Autos auf eisigen Straßen.

Das Einzige, was GPT-2 strukturiert ist, ist jedoch, Wörter vorherzusagen. Und die Daten, die sie hat, sind ähnlich unspezifisch. Es wurde nicht auf übersetzte Paare trainiert, sondern auf einen riesigen Korpus von Links, die aus dem Internet entfernt wurden.

Geschult durch 8 Millionen Links von Redit

Die Forscher von OpenAI sammelten ihre Trainingsdaten, indem sie Reddit als Filter verwendeten. Sie sammelten die meistgestimmten Links von der Website (etwa 8 Millionen am Ende) und schabten dann ihren Text, wodurch ein relativ kompakter Trainingsdatensatz von nur 40 GB Größe entstand. „In gewisser Weise wurde die ganze Arbeit von Leuten geleistet, die an Reddit-Unwahl-Posts beteiligt waren“, scherzt der OpenAI-Forscher Jeff Wu. OpenAI-Direktor Amodei fügt hinzu, dass sie zumindest keine giftigere Quelle wie 4chan verwendet haben.

Aber warum konnte GPT-2 angesichts dieser vagen Daten- und Trainingsarchitektur überhaupt Übersetzungen durchführen? OpenAI sagt, dass es daran liegt, dass sein Datensatz, genannt WebText, nur zufällig einige Beispiele für Übersetzungen enthält. Beim Durchsehen von WebText fanden sie Ausschnitte wie:

„Ich bin nicht der klügste Mann der Welt, aber wie man auf Französisch sagt. Ich bin kein Idiot. Ich bin kein Idiot.

In einem jetzt entfernten Beitrag vom 16. August schrieb Soheil Eid, Tory-Kandidat für das Reiten von Joliette, auf Französisch: „Mentez mentez, il en restera toujours quelque chose“, was übersetzt bedeutet: „Lüge lügen und etwas wird immer bleiben“.

„Ich hasse das Wort „Parfüm“,“ sagt Burr. „Auf Französisch ist es etwas besser: „Parfüm“.

Diese Französisch-Schnappschüsse reichten aus, um dem Algorithmus eine vage Vorstellung davon zu geben, was „Übersetzung“ ist, aber sie reichten nicht aus, um ihn fließend zu machen. Seine Fähigkeit, lange Abschnitte zusammenzufassen und Quizfragen zu beantworten, lässt sich wahrscheinlich in ähnlicher Weise auf die Daten zurückführen, ebenso wie die Gewohnheit des GPT-2, beim Schreiben einer Nachrichtengeschichte die Wörter „ADVERTISEMENT“ zwischen Absätzen einzufügen. „Es ist bei weitem nicht so gut wie spezialisierte Übersetzungssysteme“, sagt Amodei. „Aber ich denke immer noch, dass die Tatsache, dass sie es überhaupt kann, verrückt ist.“

Kembhavi stimmt zu, dass ein einziges System eine Reihe von Aufgaben bewältigen kann, aber er betont, dass zumindest in naher Zukunft speziell ausgebildete Systeme weiterhin einen Vorteil gegenüber generalistischen Systemen haben werden. „Zero-Shot-Szenarien sind cool“, sagt er, „aber 56 Prozent bei dieser oder jener Aufgabe? Wenn man das in die Praxis umsetzt, sieht es nicht so gut aus.“

Die Gefahren einer polymathischen AI

Wenn GPT-2 in der Lage ist, Text zu übersetzen, ohne explizit programmiert zu sein, stellt sich die offensichtliche Frage: Was hat das Modell sonst noch gelernt, wovon wir nichts wissen?

You may also like...