Von Samples zu Szenen: Bild, Audio und Video verarbeiten

Eine Folie sieht im Original scharf aus, im Stream verschwimmen die kleinen Zeichen. Das Video läuft flüssig, aber die Untertitel hinken hinterher. Solche Fehler entstehen an unterschiedlichen Stellen der Medienverarbeitung. Sie beeinflussen trotzdem dieselbe Nutzungssituation: Kann jemand die Erklärung verstehen?

Computergrafik und audiovisuelle Datenverarbeitung verbindet die Berechnung visueller Inhalte mit der Verarbeitung vorhandener Signale. Für unsere Beispielmediathek sind besonders die Erzeugung geeigneter Wiedergabevarianten, die Aufbereitung von Audio und die zeitliche Zuordnung abgeleiteter Informationen relevant.

Digitalisierung ist eine begrenzte Beschreibung

Bei der Abtastung wird ein Signal in diskreten Abständen erfasst. Quantisierung beschreibt seine Werte mit begrenzter Genauigkeit. Das Abtasttheorem formuliert Bedingungen für die Rekonstruktion bandbegrenzter Signale. Frequenzanteile oberhalb der halben Abtastrate können ohne geeignete Vorfilterung als falsche tiefere Frequenzen erscheinen: Aliasing. Deshalb erfordert auch eine spätere Verringerung der Abtastrate passende Filterung. Smith: The Scientist and Engineer’s Guide to Digital Signal Processing, „The Sampling Theorem“

Für unsere Mediathek wäre die Audiospur deshalb gezielt aufzubereiten. Eine kleinere Datei kann die Verarbeitung erleichtern, aber nicht jede Reduktion erhält alle benötigten Informationen. Für eine Sprachtranskription können andere Anforderungen gelten als für die Archivierung eines Musikvortrags.

Ein eigener Prüffall wäre eine Aufnahme mit Fachbegriffen, Hintergrundgeräuschen und kurzen Sprecherwechseln. Die Verarbeitung würde daran sowohl technisch als auch inhaltlich geprüft: Ist die Datei korrekt erzeugt? Bleibt die Sprache verständlich? Verschlechtert sich das nachfolgende Transkript?

Computergrafik erzeugt Bilder aus einer Szene

Eine virtuelle Szene beschreibt Geometrie, Materialien, Licht und Kamera. Raytracing untersucht Strahlen und ihre Wechselwirkungen mit der Szene. Pathtracing nähert Lichttransport über stochastisch ausgewählte Pfade an. Bei begrenzten Stichproben kann dabei sichtbares Rauschen entstehen. Das Fachbuch Physically Based Rendering verbindet diese Grundlagen mit ihrer Implementierung. Pharr, Jakob und Humphreys, 2023: Physically Based Rendering, 4. Auflage

Für eine interaktive Lernanwendung könnte daraus beispielsweise eine drehbare dreidimensionale Darstellung entstehen. Hier kommt das Zeitbudget hinzu: Bei angestrebten 60 Bildern pro Sekunde bleiben rechnerisch etwa 16,7 Millisekunden pro Bild. Darstellung, Interaktion und weitere Arbeit müssen zusammen innerhalb des verfügbaren Budgets bleiben.

In unserer Mediathek wäre eine solche Funktion eine eigenständige Erweiterung. Zuerst müsste feststehen, welche Lernaufgabe sie unterstützt. Eine aufwendige Darstellung lohnt sich nur, wenn ihre zusätzliche Interaktion für diese Aufgabe gebraucht wird. Die UX-Perspektive in Teil 3 liefert dafür den Prüfrahmen.

Kompression verändert die verfügbaren Informationen

Verlustfreie Kompression erlaubt die exakte Wiederherstellung der ursprünglichen Daten. Verlustbehaftete Verfahren rekonstruieren eine Näherung und können stärkere Reduktionen erreichen. Welche Abweichungen akzeptabel sind, hängt vom Verwendungszweck ab. Smith: The Scientist and Engineer’s Guide to Digital Signal Processing, Kapitel 27 „Data Compression“

Für unsere Lehrvideos wäre eine reine Prüfung bewegter Kamerabilder unzureichend. Kleine Schrift, feine Diagrammlinien und eingeblendeter Programmcode müssen ebenfalls lesbar bleiben. Eine Variante, die bei einem Gespräch gut aussieht, kann für einen Bildschirmmitschnitt ungeeignet sein.

Der Beispielentwurf behält deshalb ein Original und erzeugt daraus abgeleitete Varianten. Dabei unterscheiden wir den Container, der Spuren und Metadaten organisiert, von den Verfahren zur Codierung der enthaltenen Bild- und Tonsignale. Die bloße Dateiendung wäre für die Auswahl einer Verarbeitungskette zu wenig Information.

Mehrere Wiedergabevarianten könnten später adaptiv ausgeliefert werden. Die Webplattform aus Teil 2 übernimmt dann die passende Bereitstellung. Erzeugung und Auslieferung bleiben als Verantwortlichkeiten unterscheidbar.

Zeitmarken brauchen eine gemeinsame Grundlage

Unser Suchtreffer soll zur richtigen Aussage springen. Dafür müssen Videowiedergabe und Transkript dieselbe Zeitbasis verwenden. Wird ein Vorspann entfernt, ändern sich sämtliche nachfolgenden Positionen. Ein bloßer Verweis auf den Videotitel hält diese Beziehung nicht fest.

Im Entwurf erhält jede inhaltliche Schnittfassung eine eigene Medienversion. Das Transkript referenziert genau diese Version. Wiedergabevarianten müssen deren Zeitbezug erhalten oder eine ausdrücklich beschriebene Zuordnung besitzen. Diese Regel wird im Datenmodell aus Teil 4 verankert.

Für die Abnahme würden wir mehrere markierte Passagen am Anfang, in der Mitte und am Ende prüfen. Ein konstanter Versatz und eine mit der Laufzeit zunehmende Abweichung sind unterschiedliche Fehlerbilder. Eine Prüfung nur am Videoanfang könnte den zweiten Fall übersehen.

Aus Medien werden Suchhinweise

Weitere Verarbeitungsschritte könnten Szenenwechsel erkennen, Vorschaubilder auswählen und Schrift in Einzelbildern erfassen. Diese Ergebnisse würden im Beispiel als Hinweise behandelt. Ein Kameraschnitt muss keinen Themenwechsel bedeuten; eine Folienüberschrift beschreibt nicht zwangsläufig die gesamte Erklärung.

Eine mögliche Verarbeitungskette lautet: Original prüfen, Wiedergabevarianten erzeugen, Audio bereitstellen, Transkript erstellen, Zeitmarken kontrollieren und Suchsegmente ableiten. Jeder Schritt speichert seine Eingabeversion und sein Verfahren. So lässt sich ein falscher Suchtreffer auf die Stelle zurückführen, an der die Information verloren ging oder verändert wurde.

Die Textsuche in Teil 5 und die gelernten Verfahren in Teil 6 können nur mit den Informationen arbeiten, die diese Verarbeitungskette tatsächlich erhält.