Weitere Details zu Polyphony Digital und der neuen Technologie von Sony AI – GTPlanet

Polyphony Digital wurde kürzlich enthüllt Gran Turismo Sophieein neues Fahrsystem mit künstlicher Intelligenz, das in erscheinen wird Gran Turismo 7. Die Technologie wurde in Zusammenarbeit mit dem 25-köpfigen Team von Sony AI unter Verwendung der neuesten Fortschritte im maschinellen Lernen entwickelt. Die Forschungsergebnisse des Teams wurden in veröffentlicht Natur Und GT Sophy testete (und besiegte!) einige der weltbesten Gran Turismo-Fahrer in Live-Event letztes Jahr in Tokio.

Die Enthüllung von GT Sophy warf jedoch fast so viele Fragen auf, wie sie beantwortete. Wie genau funktioniert die Technologie? Wie wird es konkret integriert? GT7Und welche Einschränkungen gibt es?

Um all diese Fragen zu beantworten, haben wir studiert Natur Die Veröffentlichung sprach in einem exklusiven Interview mit Kazunori Yamauchi, dem Schöpfer der „Gran Turismo“-Reihe, und Peter Wurman, Direktor von Sony AI America. Das haben wir gelernt.

Wie funktioniert Sophie eigentlich?

Als „Spielerin“ sieht Sophie die virtuelle Gran Turismo-Umgebung als statische Karte, auf der die linke, rechte und Mittellinie als 3D-Punkte definiert sind. Die Strecke vor dem Sophy ist in 60 gleichmäßig verteilte Segmente unterteilt, wobei die Länge jedes Segments dynamisch anhand der Fahrzeuggeschwindigkeit berechnet wird. Jeder Clip repräsentiert ungefähr 6 Sekunden Fahrt zu einem beliebigen Zeitpunkt.

Sophy hat auch Zugriff auf bestimmte Informationen darüber, was das Auto in seiner Umgebung tut, einschließlich 3D-Geschwindigkeit, Winkelgeschwindigkeit, Beschleunigung, Last auf jedem Reifen und Reifenschlupfwinkel. Es kennt auch den Fortschritt des Fahrzeugs entlang der Strecke, die Neigung der Streckenoberfläche, die Richtung des Fahrzeugs zur Mittellinie der Strecke und die Vorderkanten. Sophy wird vom Spiel benachrichtigt, wenn das Fahrzeug die Standard-Streckengrenzen des Spiels berührt oder außerhalb fährt.

In Bezug auf die Steuerung hat der Sophy nur Zugriff auf Beschleunigungs-, Brems- und Links- / Rechtslenkeingaben. Es kann diese Eingänge nur mit einer Rate von 10 Hz oder ungefähr alle 100 Millisekunden modulieren. Es hat keinen Zugriff auf Gangschaltung, Traktionskontrolle, Bremsbalance oder andere Parameter, die normalerweise menschlichen Spielern zur Verfügung stehen.

Diese Umgebungsvariablen und der begrenzte Input werden Sophie präsentiert, und sie beginnt dann mit der Arbeit. Mit fortschrittlichen „Machine Learning“-Algorithmen fährt es den Pfad immer wieder neu. Es wird sportlich „belohnt“, indem man in möglichst kurzer Zeit um die Strecke kommt, und – wiederum sportlich gesprochen – „bestraft“, wenn man Wände oder andere Autos berührt oder ins Aus geht.

„GT Sophy wurde mit Reinforcement Learning trainiert“, erklärt Sony AI America Director Peter Wehrmann. „Im Wesentlichen haben wir ihr Belohnungen dafür gegeben, dass sie auf der Strecke Fortschritte gemacht oder ein anderes Auto überholt hat, und Strafen, wenn sie die Strecke verlässt oder in andere Autos kollidiert. Um sicherzustellen, dass sie lernt, wie man sich in wettbewerbsorientierten Rennszenarien verhält, haben wir den Händler hinzugezogen.“ viele verschiedene Rennsituationen mit verschiedenen Arten von Gegnern. Mit genügend Übung konnte er durch Ausprobieren lernen, wie man mit anderen Autos umgeht zu aggressiv und verursacht Unfälle und bekommt Strafen“.

Worman fuhr fort, die größten Herausforderungen bei der eigentlichen Datenverarbeitung zu beschreiben. Der schwierige Teil bestand darin, herauszufinden, wie diese Informationen den neuronalen Netzen am effizientesten präsentiert werden können. Zum Beispiel haben wir durch Versuch und Irrtum herausgefunden, dass die Codierung von etwa 6 Sekunden der entgegenkommenden Strecke genügend Informationen für den GT Sophy waren, um Entscheidungen über seine Fahrlinien zu treffen“, erklärte er Agent, der sowohl aggressiv als auch sportlich war.“ das Gute.“

Sophy macht das alles in Echtzeit, auf der echten PlayStation 4s läuft eine Sonderedition von Gran Turismo Sport die erforderliche Positionsdaten meldet und Steuereingaben über eine Netzwerkverbindung akzeptiert. Sophy-Code wird von Servern ausgeführt, die über das Netzwerk mit PlayStations kommunizieren. Um den Prozess zu beschleunigen, steuert Sophy 20 Autos, die gleichzeitig auf der Strecke fahren. Die Ergebnisse werden in Server eingespeist, die mit NVIDIA V100- oder A100-Chips und GPUs auf Serverebene ausgestattet sind, die für die Verarbeitung von KI- und maschinellen Lerndaten ausgelegt sind.

Es ist wichtig zu beachten, dass diese Art von Rechenleistung nur zum „Erstellen“ von Sophy benötigt wird, nicht zum Ausführen. Der maschinelle Lernprozess führt schließlich zu „Modellen“, die dann auf bescheidenerer Hardware implementiert werden können.

„Sophy Learning wird parallel zu Rechenressourcen in der Cloud verarbeitet, aber wenn Sie nur ein bereits erworbenes Netzwerk implementieren, ist die lokale PS5 mehr als genug“, erklärte Kazunori Yamauchi. „Diese Asymmetrie der Rechenleistung ist ein generelles Merkmal neuronaler Netze.“

Wie ist Sophie anders

KI in Rennspielen war schon immer eine Art „Black Box“. Spieleentwickler diskutieren selten, wie es tatsächlich funktioniert, aber es ist ein wichtiger Teil von Rennspielen, mit dem alle Spieler interagieren. Wir waren neugierig, mehr darüber zu erfahren, wie die KI von Gran Turismo in der Vergangenheit funktioniert hat und was Sophy so anders macht.

Wie Kazunori Yamauchi uns gezeigt hat, liefert der maschinelle Lernprozess Sophy mehr Verhaltensregeln, als menschliche Programmierer sich ausdenken können, aber diese Strategie hat auch ihre Nachteile.

Yamauchi-san erklärt: „Künstliche Intelligenz war bisher regelbasiert, also funktioniert sie im Grunde wie ein ‚Wenn-Dann‘-Programm.“ Aber egal, wie viele solcher Regeln hinzugefügt werden, sie kann nicht mit anderen Bedingungen und Umgebungen umgehen die angegebenen. Auf der anderen Seite generiert Sophy innerhalb seiner Netzwerkschicht eine riesige Menge impliziter Regeln, mit denen Menschen nicht umgehen können. Dadurch können sie sich an unterschiedliche Bedingungen und Umgebungen anpassen. Da diese Regeln aber implizit sind, ist es nicht möglich, ihnen ein „bestimmtes Verhalten“ beizubringen, das für eine regelbasierte KI einfach wäre. „

Wie würde Sophie in erscheinen Gran Turismo 7

Obwohl Sophy in den letzten Jahren mit entwickelt wurde Gran Turismo SportDie Technologie wird zum ersten Mal in der Realität erscheinen Gran Turismo 7 In einem zukünftigen Update des Spiels. Kazunori Yamauchis Ankündigung enthielt wenig Details, daher waren wir aufgeregt, ihn danach zu fragen.

„Es ist möglich, dass Sophie in drei Formen vor dem Spieler erscheint“, erklärte Yamauchi-san. „Als Lehrer, der den Spielern das Fahren beibringt, als Schüler, der von den Spielern Sportlichkeit lernt, und als Freund, der mit ihm Rennen fährt. Ich würde die Möglichkeit nicht ausschließen, Spec B einzustellen, wo der Spieler der Rennleiter und Sophie ist ist der Fahrer.“

Sophy kann auch als Werkzeug im Spiel selbst verwendet werden. „Grundsätzlich ist es möglich, Sophy für BOP-Einstellungen zu verwenden“, fügt Yamauchi hinzu. „Wenn es nur darum ging, die Rundenzeiten der verschiedenen Autos anzugleichen, ist das jetzt möglich. Aber da es bei den BoP-Einstellungen nicht nur um Rundenzeiten geht, werden wir das nicht alles Sophie überlassen, aber es wird definitiv helfen, BoPs zu erstellen.“ .“

Sophie lernt noch

Nachdem Sophy enthüllt wurde, waren wir neugierig, mehr über ihre Einschränkungen zu erfahren. Das KI-Team von Sony ist sich voll und ganz bewusst, wie sich Sophy verbessern kann, und die Technologie selbst befindet sich noch in der aktiven Entwicklung.

In der aktuellen Iteration wird Sophy beispielsweise auf bestimmten Pfaden unter bestimmten Bedingungen trainiert, aber das Team erwartet, dass sich die Technologie anpassen kann. „Diese Versionen des GT Sophy wurden auf bestimmten Kombinationen von Fahrzeugstrecken trainiert“, erklärte Warman. „Die Verbesserung der Fahrleistung des Händlers auf Augenhöhe mit Modifikationen an der Fahrzeugleistung ist Teil unserer zukünftigen Arbeit. Diese Version des GT Sophy wurde auch nicht auf Umweltunterschiede trainiert, aber wir erwarten, dass die Technologien unter diesen Bedingungen weiterhin funktionieren.“

Als Sophy als Superfahrerin debütierte, die in der Lage war, die weltbesten Gran Turismo-Spieler zu besiegen, tauchten sofort Fragen und Bedenken hinsichtlich ihrer Fähigkeit auf, sich an weniger konkurrenzfähige menschliche Fahrer anzupassen.

Laut Peter Wehrmann kann sich die Sophy anpassen, indem sie buchstäblich wie ein neuer Fahrer fährt, anstatt nur künstlich zu bremsen. „Das ist auch Teil unserer zukünftigen Arbeit“, erklärte der Direktor von Sony AI America. „Unser Ziel ist es, einen Faktor zu schaffen, der im „Langsam“-Modus wie ein weniger erfahrener Fahrer fährt, anstatt in irgendeiner Weise behindert zu werden, wie z. B. willkürliches Beschleunigen oder Verlangsamen unter Verstoß gegen die Physik.“

Das ursprüngliche Ziel von Sony AI war es, eine schnellere und wettbewerbsfähigere KI zu entwickeln, auf der sie dann aufbauen konnten, um ein Allzwecktool zu entwickeln, das das Spiel für alle angenehmer macht. „Unser Ziel mit diesem Projekt war es zu zeigen, dass wir einen Agenten schaffen können, der mit den besten Spielern der Welt Rennen fahren kann. Unser ultimatives Ziel ist es, einen Agenten zu schaffen, der Spielern aller Art ein aufregendes Rennerlebnis bieten kann“, betonte Warman.

Mehr Details

Die Forschung und Entwicklung, die in die heutigen Videospiele einfließen – insbesondere in die Gran Turismo-Spiele – werden normalerweise als Geschäftsgeheimnisse geschützt. Das macht Sophys Entwicklungstransparenz erfrischender und unglaublich cool für Interessierte.

Wenn Sie tiefer graben und mehr über Sophys Innenleben erfahren möchten, können Sie das vollständige Peer-Review-Papier in der Ausgabe vom 10. Februar 2022 lesen Natur Wissenschaftliche Zeitschrift. Artikel und Zusammenfassung Mit Abonnement zum Download verfügbar. Freier Zugang zu NaturErkundigen Sie sich bei Ihrer örtlichen Bibliothek oder Universität.

Wir werden sicher noch mehr über Sophy wissen GT7Es wurde am 4. März 2022 veröffentlicht. Und wie üblich werden wir alle Neuigkeiten genau im Auge behalten, sobald sie bekannt gegeben werden. Bleib dran!

Sehen Sie sich weitere Artikel zu Gran Turismo Sophy und Kazunori Yamauchi an.