Bei langen Videos muss ein System ein Drehbuch in einzelne Einstellungen übersetzen und dabei auch dann den Überblick behalten, wenn es später zu einer bereits gezeigten Szene zurückkehrt. Nach Darstellung der Forschenden reichen übergebene Prompts oder zuletzt erzeugte Bilder dafür nicht aus: Sie bilden weder einen gemeinsamen räumlichen Bezugsrahmen noch ein nach Zeit geordnetes Gedächtnis für frühere Ereignisse. Das vorgestellte Framework heißt Any Time, Any Space (ATAS). Es zerlegt ein Drehbuch in Anfragen für Einstellungen, die konkrete Verweise auf Ort, Kamera und Ereigniszeit enthalten.
Vor der Generierung sucht ATAS passende Informationen in zwei Speicherbereichen. Das Szenengedächtnis enthält registrierte statische Geometrie, während das Ereignisgedächtnis dynamische Beobachtungen nach Szene, Ereignis und Zeit ordnet. Nach der Videogenerierung rekonstruiert und registriert das System den Clip. Eine neue Beobachtung wird laut Beschreibung nur dann in das Gedächtnis übernommen, wenn sie bei einer Prüfung und einem Zustandsabgleich akzeptiert wird. Die Auslieferung des Films ist davon getrennt: Ein Clip kann also ausgegeben werden, ohne dass seine Beobachtungen ins Gedächtnis aufgenommen werden.
Die Forschenden prüften ATAS mit vier Videogeneratoren. Für alle vier sogenannten Backbones berichtet das Paper Verbesserungen bei sämtlichen ausgewiesenen Maßen zur Konsistenz zwischen Einstellungen sowie jeweils den höchsten Gesamtwert im Benchmark. Bei der räumlichen Rückkehr zu einem Zielbild übertrifft ATAS außerdem die verglichenen Agenten und 3D-gestützten Verfahren. Bei drei Kriterien zur erneuten Darstellung eines Ereignisses liegt das Framework ebenfalls vorn. In einer Bewertung durch Menschen erhielt es bei allen sechs Kriterien die höchsten Bewertungen. Konkrete Punktzahlen zu diesen Ergebnissen stehen im vorliegenden Paper-Auszug nicht.
Untersucht wird damit ein Ansatz, der nicht nur einzelne Bilder oder die jüngste Szene berücksichtigt, sondern Orts- und Ereignisinformationen über mehrere Einstellungen hinweg verwaltet. Die Ergebnisse beziehen sich auf die im Paper beschriebenen Vergleiche und Bewertungskriterien. Videos und Code stellt das Forschungsteam auf der Projektseite lhmd.top/atas/ bereit.