Das an der Technischen Hochschule Deggendorf (THD) entwickelte System soll bei der Transkription auch mit Dialekten, Fachbegriffen und schlechter Aufnahmequalität zurechtkommen. TACT arbeitet in zwei Schritten: Zunächst erfasst es Informationen aus dem Video. Dazu liest eine Bilderkennung Inhalte von eingeblendeten Vorlesungsfolien aus und bezieht Angaben aus der Videobeschreibung ein. Die gesammelten Begriffe und Kontextinformationen dienen anschließend als Vorwissen für die Spracherkennung.
Im zweiten Schritt prüft ein lokal betriebenes Sprachmodell den gesprochenen Vortrag anhand dieses Briefings. Es soll dabei Hörfehler korrigieren und zusätzlich eine Übersetzung erstellen. Andreas Lindner, Laboringenieur im Bereich „Innovative Lehre“ an der THD, beschreibt den Ansatz als Unterstützung für die Erkennung von Fachbegriffen und regionalen Sprachvarianten. Die Hochschule nennt Niederbayerisch als Beispiel für einen Dialekt, mit dem TACT umgehen soll.
Nach Angaben der THD benötigt das System für den Betrieb einen Standard-Server mit zwei Prozessorkernen und vier Gigabyte Arbeitsspeicher. Die Verarbeitung erfolge nahezu in Echtzeit: Für eine Einheit Videomaterial benötige TACT demnach das 1,13-Fache an Zeit. Die Hochschule führt die Ergebnisse auf das gezielte Briefing zurück, durch das auch schlanke Sprachmodelle Fachbegriffe aus akademischen Themenbereichen erkennen sollen.
Die THD will Vorlesungsaufzeichnungen mit verlässlichen Untertiteln versehen, ohne zusätzlichen Aufwand für Lehrende. Als mögliche Nutzende nennt sie unter anderem gehörlose und schwerhörige Menschen sowie Personen, die Deutsch als Zweitsprache verwenden oder Fachbegriffe nachlesen möchten. Laut Hochschule bleiben die Daten auf ihren eigenen Servern und werden nicht an externe Unternehmen oder ins Ausland übermittelt. Die wissenschaftliche Arbeit zu TACT wurde nach Angaben der THD vom Institute of Electrical and Electronics Engineers veröffentlicht.
