Das System verbindet Messungen von Kameras, Radar und Lidar im Fahrzeug mit Daten von Sensoren an Ampeln und Schilderbrücken. Ein BMW-Testfahrzeug erhält so Informationen über Verkehrsteilnehmer, die sich aus verschiedenen Richtungen einer Kreuzung nähern. Auf dem Bildschirm werden sie laut TUM bis auf zehn Zentimeter genau dargestellt. Die KI sagt fortlaufend voraus, wie sich Autos, Fahrräder und Fußgänger bewegen könnten.
Für das Lagebild wertet die KI die verfügbaren Sensordaten aus und entscheidet, welche davon in den digitalen Zwilling der Verkehrssituation einfließen. Sensoren, deren Leistung etwa durch Verschmutzung, Verdeckung oder eine fehlerhafte Kalibrierung beeinträchtigt ist, berücksichtigt das System nicht. Die Daten stammen aus unterschiedlichen Perspektiven und werden mit verschiedenen Taktraten erfasst. Zudem bewegen sich die Sensoren am Fahrzeug. Das Gesamtmodell wird laut TUM im 100-Millisekundentakt aktualisiert.
Die zusätzliche Sicht auf verdeckte Bereiche soll Autofahrenden helfen, mögliche Gefahren früher zu erkennen oder eine Warnung zu erhalten. Als Beispiele nennt die TUM Kinder, die hinter einem Auto auf die Straße laufen, und Radfahrende, die um eine Ecke kommen. Auch bei einem Unfall auf der Autobahn könnte ein umfassenderes Lagebild relevant sein. Die Zusammenarbeit zwischen der TUM und der BMW Group untersucht, wie sich solche Informationen zusammenführen und nutzen lassen.
Ein weiteres Anwendungsszenario sind Baustellen, an denen sich die Verkehrsführung häufig ändert und Fahrzeugkarten deshalb nicht immer aktuell sind. Eine Kamera an einer Ampel oder einem Mast könnte zusätzliche Informationen zur Baustelle erfassen und über den digitalen Zwilling an ein Fahrzeug übermitteln. Für eine Neukartierung von Baustellen und einen Ansatz zur Datenfusion in verteilten Systemen haben die Forschenden nach Angaben der TUM Patente eingereicht.