Event-triggered Learning

  Urheberrecht: © Friedrich Solowjow / MPI-IS

Abstraktion des Event-triggered Learning frameworks. Eine strukturierte Entscheidungen darüber, wann gelernt werden soll, werden auf der Grundlage eines Vergleichs zwischen einem modellbasierten Referenzsignal und eingehenden Daten aus dem System getroff

 

Die Fähigkeit zu lernen ist ein wesentlicher Aspekt zukünftiger intelligenter Systeme, die mit unsicheren Umgebungen konfrontiert sind. Der Prozess des Erlernens eines neuen Modells oder Verhaltens ist jedoch oft nicht umsonst, sondern mit gewissen Kosten verbunden. Zum Beispiel kann das Sammeln von informativen Daten aufgrund physikalischer Einschränkungen eine Herausforderung sein, oder die Aktualisierung von Modellen kann erhebliche Berechnungen erfordern. Darüber hinaus erfordert das Lernen für autonome Agenten oft die Erforschung eines neuen Verhaltens und bedeutet daher in der Regel, vom nominalen oder gewünschten Verhalten abzuweichen. Daher ist die Frage, wann zu lernen ist, für den effizienten und intelligenten Betrieb autonomer Systeme von wesentlicher Bedeutung.

Ereignisgesteuertes Lernen, oder abgekürzt ETL, wurde in unserem Paper Automatica 2020 zum ersten Mal vorgeschlagen, um prinzipienbasierte Entscheidungen darüber zu treffen, wann neue Dynamikmodelle zu lernen sind, und wurde für effiziente Kommunikation in verteilten Systemen angewandt. Der Informationsaustausch in verteilten Systemen ist ein Schlüsselaspekt bei der Lösung kollaborativer Aufgaben. Die Kommunikation findet oft über drahtlose Netzwerke statt und muss daher sorgfältig genutzt werden, um eine Überlastung des Netzwerks zu vermeiden. Dynamische Modelle werden eingesetzt, um das Verhalten anderer Agenten vorherzusagen, und daher sind genaue Modelle unerlässlich, um die Kommunikation effektiv zu reduzieren. In einer Kollaboration mit der TU Berlin haben wir die entwickelten Methoden auch experimentell auf IMU Sensor Netzwerken validiert. Siehe unsere Publikation L-CSS 2020.

Während die Kommunikation in verteilten Systemen effektiv reduziert wird, sind die entwickelten Ideen allgemeiner und behandeln in ihrem Kern die Frage, wann gelernt werden soll, mit möglichen Erweiterungen in verschiedene Richtungen. Unter anderem untersuchen wir im Paper TAC-CSS 2020 die Verallgemeinerung auf Kostensignale und in arXiv 2020 auf nichtlineare Systeme . Die Verwendung unterschiedlicher Signale zur Durchführung strukturierter Lernentscheidungen ist ein weiterer wichtiger Aspekt der laufenden Forschung, der auch mit dem Reinforcement Learning verbunden ist, bei dem der Exploration-Exploitation-Kompromiss eine eng verwandte Manifestation desselben Problems darstellt.