Actively Learning Gaussian Process Dynamics

  Urheberrecht: © Buisson-Fenet / MPI-IS  

Mit der steigenden Komplexität dynamischer Systeme, die immer mehr Daten erzeugen, erscheinen lernbasierte Modelle als eine vielversprechende Alternative zur physikbasierten Modellierung. Für hochdimensionale Systeme mit nichtlinearen Effekten kann dies eine herausfordernde Aufgabe sein. Insbesondere bleibt es nach wie vor ein offenes Problem, dynamische Systeme stichprobenartig und effizient zu lernen, indem informative Daten gesammelt werden, die repräsentativ für den gesamten Zustandsraum sind. Dann wird die Frage des aktiven Lernens wichtig: Welche Steuereingaben sollte der Benutzer wählen, damit die während eines Experiments erzeugten Daten informativ sind und ein effizientes Training des Dynamikmodells ermöglichen?

In diesem Zusammenhang können Gauß'sche Prozesse ein nützlicher Rahmen für die Approximation der Systemdynamik sein. Im Gegensatz zu den meisten anderen Mathoden für maschinelles Lernen schneiden sie bei kleinen und mittelgroßen Datensätzen gut ab. Dies ist besonders wichtig, wenn man bedenkt, dass die Daten oft kostspielig zu erzeugen und zu verarbeiten sind, vor allem, wenn ihre Erzeugung die Betätigung eines komplexen physikalischen Systems erfordert. Gauß'sche Verfahren liefern auch einen Begriff der Unsicherheit, der angibt, wie sicher das Modell in Bezug auf seine Vorhersagen ist.

In den Papern L4DC 2019 und Buisson-Fenet 2019 untersuchen wir auf prinzipielle Weise, wie dynamische Systeme aktiv gelernt werden können, indem Steuereingaben ausgewählt werden, die informative Daten erzeugen. Wir modellieren die Systemdynamik durch einen Gauß'schen Prozess und verwenden informationstheoretische Kriterien, um Kontrolltrajektorien zu identifizieren, die den Informationsgewinn maximieren. Auf diese Weise kann der Eingaberaum effizient erkundet werden, was zu einem dateneffizienten Training des Modells führt. Wir schlagen mehrere Methoden vor, untersuchen ihre theoretischen Eigenschaften und vergleichen sie ausführlich in einem numerischen Benchmark. Die abschließende Methode erweist sich als effizient bei der Generierung aussagekräftiger Daten. So liefert sie den geringsten Vorhersagefehler bei gleicher Anzahl von Stichproben auf den meisten Benchmark-Systemen. Wir schlagen mehrere Varianten dieser Methode vor, die es dem Benutzer erlauben, Berechnungen mit Vorhersagegenauigkeit abzuwägen, und zeigen, dass sie vielseitig genug ist, um zusätzliche Ziele zu berücksichtigen. In zukünftigen Arbeiten beabsichtigen wir, die Auswirkungen verschiedener Kostenfunktionen zu untersuchen und unseren Rahmen auf realistischere GP-Modelle zu verallgemeinern, zum Beispiel mit verrauschten Eingaben und latenten Zuständen. Die Methoden müssen auch rechnerisch optimiert werden, damit sie an Hardware-Experimenten validiert werden können.