KI & Games: Warum Forscher KI auf Spiele los lässt

KI & Games: Warum Forscher Künstliche Intelligenz auf Games los lässt

Nun spielt sie auch noch!

Forscher lassen Künstliche Intelligenzen Spiele spielen. Bei der Google-Tochter DeepMind brachte sich die KI rund 50 Arcade-Spiele bei. Doch das ist nur der Anfang. Natürlich geht es dabei nicht darum, den selbst lernenden Agenten zu beschäftigen, weil ihm sonst langweilig wäre.

Der Mensch sei ein homo ludens, ein spielendes Wesen, so sagte ein schlauer Mann einmal. Während es bei Erwachsenen vor allem darum geht, beim Spielen abzuschalten und zu entspannen, geht es bei Kinder um deutlich mehr. Schon von Kindesbeinen an verspüren sie den Drang, sich auszuprobieren. „Es gibt für Kinder eigentlich keine bessere Förderung, als ihnen von klein an genügend Zeit und Raum zum Spielen zu geben. Das zeigt sich auch später in der Schule: Kinder, die vom Kleinkindalter an ausgiebig spielen durften, sind meist stabiler und oft auch erfolgreicher. Kinder lernen nicht nur „spielend leicht“, sondern das Spielen ist auch ihre Art zu lernen. Anders ausgedrückt: Bei Kindern sind Spielen und Lernen zwei Seiten ein und derselben Medaille: Im Spiel suchen sich Kinder die Anregungen, die sie gerade für ihre Entwicklung brauchen. Sie lernen die Welt kennen, finden heraus, wie die Dinge funktionieren, wozu sie zu gebrauchen sind und welchen Sinn sie haben.“ [1]


Wie die Kinder

Nun muss man in diesem Text eines Erziehungsratgebers nur die Worte „Kinder“ durch „Künstliche Intelligenz“ ersetzen und schon versteht man die Motivation der Forscher. DeepMind erläutert auf ihrer Website, warum sie Maschinen Spiele spielen lassen: “Unsere Mission ist es, die Grenzen der KI zu erweitern und Programme zu entwickeln, mit denen man jedes komplexe Problem lösen kann, ohne dass man es lernen muss. Wenn wir erfolgreich sind, wird dies einer der wichtigsten und weitreichendsten wissenschaftlichen Fortschritte sein, die jemals gemacht wurden. Es wird uns befähigen, die Geheimnisse des Universums zu verstehen und einige unserer dringlichsten realen Herausforderungen zu bewältigen. Gleich ob Klimawandel oder Gesundheitsversorgung: zu viele Probleme werden schmerzhaft langsam gelöst, da ihre Komplexität unsere Fähigkeit überfordert, Lösungen zu finden. Mit AI als Multiplikator für menschlichen Einfallsreichtum rücken wir diese Lösungen in Reichweite.“ [2]

Dabei kommen bei DeepMind nicht nur die klassischen Arcade-Spielen zum Einsatz, auch Echtzeit-Strategiespiele wie StarCraft and StarCraft II dienen der Fortbildung der KIs. Diese Spiele gehören zu den größten und erfolgreichsten Spielen aller Zeiten. Seit mehr als 20 Jahren treten hier Spieler gegeneinander an. Das Original wird bereits seit längerem von Forschern aus dem Bereich des Maschinellen Lernens und der Künstlichen Intelligenz genutzt, die mit ihren Bots sogar in einem jährlichen Wettbewerb antreten, der AIIDE StarCraft AI Competition. [3]


StarCraft perfektes Umfeld fürs Training der KI

„Das vielschichtige Gameplay von StarCraft macht es zu einem idealen Umfeld für die KI-Forschung. Während das Ziel des Spiels zum Beispiel darin besteht, den Gegner zu schlagen, muss der Spieler auch eine Anzahl von Unterzielen ausführen, z. B. Ressourcen oder Gebäudestrukturen sammeln. Außerdem kann ein Spiel von einigen Minuten bis zu einer Stunde dauern. Das bedeutet, dass Aktionen, die zu einem frühen Zeitpunkt des Spiels gemacht wurden, sich möglicherweise langfristig nicht auszahlen. Schließlich ist die Karte nur teilweise sichtbar, so dass die Agenten eine Kombination aus Erinnerung und Planung benötigen, um erfolgreich zu sein.

Das Spiel hat auch andere Eigenschaften, die es für Forscher interessant machen, wie der große Pool an begeisterten Spielern, die jeden Tag online mithalten. Somit gibt es eine große Menge an Wiedergabedaten, von denen man lernen kann – sowie eine große Anzahl äußerst talentierter Gegner für KI-Agenten.

Auch der Aktionsraum von StarCraft bietet eine Herausforderung mit einer Auswahl von mehr als 300 grundlegenden Aktionen. Atari-Spiele verfügen im Vergleich dazu nur über etwa zehn Aktionen, z. B. oben, unten, links, rechts usw. Obendrein sind die Aktionen in StarCraft hierarchisch, können modifiziert und erweitert werden, wobei viele von ihnen einen Punkt auf dem Bildschirm benötigen. Selbst bei einer kleinen Bildschirmgröße von 84x84 stehen etwa 100 Millionen mögliche Aktionen zur Verfügung.“ [4]


Eine KI, die nicht mogelt

Nicht nur Google-Firmen, auch die Studenten Guillaume Lample und Devendra Singh Chaplot der Carnegie Mellon University lassen ihre KI in komplexeren 3D-Spielen performen. Sie schreiben: „Wir stellen die erste Architektur vor, um 3D-Umgebungen mit teilweise beobachtbaren Zuständen in Ego-Shootern zu meistern. Typischerweise verwendet Reinforcement Learning nur visuelle Eingaben für das Training. Wir stellen eine Methode vor, um diese Modelle zu erweitern. So kann der Agent während der Trainingsphase Informationen zu Spielmerkmalen wie das Vorhandensein von Feinden oder Gegenständen ausnutzen. Unser Modell ist darauf trainiert, diese Funktionen gleichzeitig zu erlernen und ein Q-Learning-Ziel zu minimieren. Dies verbessert die Trainingsgeschwindigkeit und Leistung unseres Agenten drastisch. Unsere Architektur ist zudem modularisiert, damit verschiedene Modelle für verschiedene Phasen des Spiels unabhängig trainiert werden können. Wir zeigen, dass die vorgeschlagene Architektur sowohl bei eingebauten KI-Agenten des Spiels als auch bei Menschen in Deathmatch-Szenarien deutlich überlegen ist.“ [5]

Dass Ego-Shooter KI-Gegner haben, ist nichts Neues. Auch das Spiel Doom, für das die beiden Studenten ihre KI entwickeln, bietet automatisch agierende Widersacher auf. Doch für gewöhnlich betrügen die künstlichen Intelligenzen der verschiedenen Spiele. Sie sind Teil des Spiels, sie kennen die Standorte der Spieler, ihnen sind Spielstände und Szenarios vertraut. Sie folgen lediglich vorprogrammierten Mustern. Die von den Studenten vorgestellte KI jedoch macht ihre eigenen Erfahrungen und lernt aus ihren Erfolgen (oder Fehlern). Sie handelt wie ein menschlicher Spieler und trifft ihre eigenen Entscheidungen in Echtzeit. Sie weiß nur das, was auch ein menschlicher Spieler wüsste.


Sicheres Autonomes Fahren dank Gaming

Ziel der Forscher von DeepMind und der Studenten ist es allerdings nicht, anspruchsvollere und erfahrenere Gegner herauszubilden, um das Spiel interessanter zu machen. Lample und Chaplot nennen in ihrem Paper denn auch Autonomes Fahren als eine der Motivationen für ihre Entwicklung.

Maschinelles Lernen ermöglicht es Computern, beeindruckende neue Dinge zu tun, wie das Identifizieren von Gesichtern und das Erkennen einer Sprache oder einer Person. Der Ansatz erfordert jedoch große Mengen an kuratierten Daten und es kann schwierig und zeitaufwändig sein, genug zu sammeln. Gerade für offene Szenarios ist es so gut wie unmöglich, jede Möglichkeit vorab durchzuspielen. Autonomes Fahren stellt die Forscher vor diese Herausforderung – zu groß ist hier die Bandbreite dessen, was auf der Straße passieren kann. Ein Forscherteam von Intel Labs und der Universität Darmstadt hat eine clevere Methode entwickelt, nützliche Trainingsdaten von Grand Theft Auto zu extrahieren.

Die jüngsten Fortschritte bei der Bildverarbeitung wurden durch Modelle mit hoher Kapazität vorangetrieben, die für große Datensätze entwickelt wurden. Unglücklicherweise war das Erstellen großer Datensätze mit Pixel-Level-Etiketten aufgrund des erforderlichen menschlichen Arbeitsaufwandes äußerst kostspielig. Das Forscherteam von Intel Labs und der Universität Darmstadt stellt einen Ansatz vor, um pixelgenaue semantische Label-Maps für Bilder zu erstellen, die aus modernen Computerspielen extrahiert wurden. Obwohl der Quellcode und der interne Betrieb von kommerziellen Spielen unzugänglich sind, zeigen sie, dass Assoziationen zwischen Image-Patches aus der Kommunikation zwischen dem Spiel und der Grafik-Hardware rekonstruiert werden können.

Dies ermöglicht eine schnelle Verbreitung von semantischen Markierungen innerhalb und zwischen Bildern, die durch das Spiel synthetisiert wurden, ohne Zugriff auf den Quellcode oder den Inhalt. Sie validieren den präsentierten Ansatz, indem sie semantische Annotationen mit dichter Pixel-Ebene für 25.000 Bilder erzeugen, die von einem fotorealistischen Computerspiel synthetisiert wurden. Experimente mit semantischen Segmentierungsdatensätzen zeigen, dass die Verwendung der erfassten Daten zur Ergänzung von realen Bildern die Genauigkeit erheblich erhöht und dass die erfassten Daten eine Reduzierung der Menge handgeschriebener realer Daten ermöglichen: Modelle, die mit Spieldaten trainiert wurden, übertreffen die Modelle, die auf dem üblichen CamVid Trainingsset trainiert wurden. [6]
 
Während das stundenlange Spielen von Games wie Grand Theft Auto bei menschlichen Spielern durchaus negative Folgen hinterlassen kann und ihr Zweck eher in einer Flucht aus der Welt in eine hyperrealistische Welt besteht, so können künstliche Intelligenzen einen großen Nutzen daraus ziehen. Das Ganze entbehrt nicht einer gewissen Ironie: Durch halsbrecherische Fahrten und Gangsterjagden wird Autonomes Fahren und damit auch unsere Straßen sicherer werden.

-----------------------------------------------------------------------------------------

Quellenangaben:

[1] Kindergesundheit-info.de: Spielen – die beste Förderung für Ihr Kind
(abgerufen am 09.10.2017)

[2] DeepMind: Solve intelligence. Use it to make the world a better place.
(abgerufen am 09.10.2017)

[3] AIIDE: StarCraft AI Competition 2017, (abgerufen am 09.10.2017)

[4] DeepMind: DeepMind and Blizzard open StarCraft II as an AI research environment
(abgerufen am 09.10.2017)

[5] arXiv: Playing FPS Games with Deep Reinforcement Learning
vom 18.09.2016, (abgerufen am 10.10.2017)

[6] TU Darmstadt: Playing for Data: Ground Truth from Computer Game
(abgerufen am 09.10.2017)

Kommentare
Einen Kommentar schreiben
Entschuldigung

Ihr Browser ist leider nicht aktuell genug.
Um diese Webseite zu benutzen, benötigen Sie einen aktuellen Browser
Wir empfehlen einen der folgenden Browser in der aktuellsten Version zu installieren.

Auf iOS Geräten sollte mindestens die Betriebssystem Version iOS 9 installiert sein.

Mozilla Firefox Google Chrome Microsoft Edge Internet Explorer