Das System kombiniert Messungen von Sensoren an Schilderbrücken und Ampeln mit Daten aus einem BMW-Testfahrzeug. Zum Einsatz kommen Kameras, Radar und ein Lidar auf dem Fahrzeugdach. Auf einem Bildschirm im Auto werden Verkehrsteilnehmer angezeigt, die sich aus verschiedenen Richtungen einer Kreuzung nähern. Ihre Position lässt sich laut TUM auf bis zu zehn Zentimeter genau bestimmen. Die KI schätzt fortlaufend ab, wohin sich Autos, Fahrräder und Fußgänger bewegen könnten.
Die Sensoren erfassen den Verkehr aus unterschiedlichen Blickwinkeln und arbeiten mit verschiedenen Taktraten. Zudem bewegen sich die Fahrzeugsensoren mit dem Auto. Das System führt die Daten zu einem gemeinsamen Modell zusammen, das alle 100 Millisekunden aktualisiert wird. Bei der Verarbeitung berücksichtigt es unter anderem die aktuelle Umgebung und Datenbankinformationen. Messwerte eines verdeckten, verschmutzten oder falsch kalibrierten Sensors können ausgeschlossen werden.
Das digitale Lagebild soll Bereiche sichtbar machen, die aus dem Fahrzeug heraus verdeckt sind. So könnten Autofahrende früher auf mögliche Gefahren reagieren oder vor ihnen gewarnt werden. Als Beispiele nennt die TUM Kinder, die hinter einem parkenden Auto auf die Straße laufen, sowie Radfahrende, die um eine Kurve kommen. Auch ein Unfall auf der Autobahn zählt zu den Situationen, in denen die vorhandenen Fahrzeugsensoren an Grenzen stoßen können.
Ein mögliches späteres Einsatzgebiet sind Baustellen: Dort kann sich die Verkehrsführung ändern, während Fahrzeugkarten nicht immer aktuell sind. Eine Kamera an einer Ampel oder einem Mast könnte zusätzliche Informationen erfassen und über das digitale Lagebild an Fahrzeuge übermitteln. Für die Neukartierung von Baustellen und einen Ansatz zur Datenfusion in verteilten Systemen haben die Forschenden Patente eingereicht. Die beschriebene Arbeit entstand an der TUM und bei der BMW Group; die Angaben beziehen sich auf ein Testfahrzeug und beschreiben keine allgemeine Verfügbarkeit des Systems.