Was lernt das Modell wirklich? Machine Learning für Medien

Ein Transkriptionsmodell erkennt die Beispielvorlesung hervorragend. Bei einer Aufnahme aus einem anderen Raum häufen sich Fehler. Vielleicht liegt es am Mikrofon, an der Fachsprache oder an überlappenden Stimmen. Die Frage ist nicht nur, ob das Modell grundsätzlich transkribieren kann. Es muss unter den Bedingungen funktionieren, unter denen die Anwendung tatsächlich eingesetzt wird.

Maschinelles Lernen für Medienanwendungen umfasst Aufgaben wie Transkription, Bilderkennung, thematische Zuordnung und Empfehlungen. Unsere Beispielmediathek nutzt diese Verfahren als austauschbare Bausteine. Ihre Ergebnisse müssen gespeichert, geprüft und verständlich präsentiert werden.

Welche Art von Lernen passt zur Aufgabe?

Beim überwachten Lernen enthalten Beispiele gewünschte Zielwerte, etwa Themenkategorien. Unüberwachte Verfahren untersuchen Strukturen ohne entsprechende Zielvorgaben. Selbstüberwachte Verfahren gewinnen Trainingssignale aus den Daten selbst. Häufig wird ein vortrainiertes Modell verwendet und gegebenenfalls an einen konkreten Einsatz angepasst. Die Wahl hängt unter anderem von Aufgabe, Daten und Ressourcen ab. Zhang, Lipton, Li und Smola: Dive into Deep Learning, Einführung

Für unsere Mediathek wären verschiedene Aufgaben getrennt zu entscheiden. Eine manuell gepflegte Themenliste könnte zunächst ausreichen. Eine automatische Transkription hätte dagegen einen direkten Nutzen, wenn für viele Videos noch kein Text vorliegt. Eine Empfehlung ähnlicher Videos könnte später folgen, sobald der Kernablauf funktioniert.

Dabei ist nicht jede Anpassung einer KI-Anwendung ein neues Training. Der bestehende Beitrag über einen KI-Feedback-Loop beschreibt beispielsweise, wie gespeicherte Rückmeldungen als Kontext in einen Prompt einfließen. Das verändert die Informationsgrundlage einer Anfrage; die Modellparameter werden dadurch nicht automatisch neu gelernt.

Bild und Sprache gemeinsam erschließen

Multimodale Modelle verarbeiten mehrere Informationsarten. CLIP zeigt, wie Bild-Text-Paare zum Lernen gemeinsam nutzbarer Repräsentationen eingesetzt werden können. Sprachliche Beschreibungen lassen sich danach zur Bewertung von Bildinhalten verwenden. Das ermöglicht flexible Such- und Klassifikationsansätze, bedeutet aber kein uneingeschränktes Verständnis sämtlicher Bilddetails. Radford et al., 2021: Learning Transferable Visual Models From Natural Language Supervision

Im Mediathekentwurf könnte eine Suche nach „Diagramm auf einer Tafel“ relevante Einzelbilder vorschlagen. Daraus folgt noch nicht, dass das zugehörige Video die gesuchte Erklärung enthält. Ein visueller Kandidat müsste mit Zeitmarke, Kontext und Zugang zum Original angezeigt werden.

Auch die Auswahl der Einzelbilder wäre zu prüfen. Wenn nur selten Bilder entnommen werden, kann eine kurz eingeblendete Folie fehlen. Die audiovisuelle Verarbeitung in Teil 7 bestimmt damit, welche Informationen das Modell überhaupt erhält.

Eine saubere Trennung der Daten

Trainingsdaten dienen zum Lernen von Parametern. Validierungsdaten unterstützen die Auswahl von Einstellungen und Modellvarianten. Ein zurückgehaltener Testsatz dient einer abschließenden Bewertung. Wiederholte Entwicklungsentscheidungen anhand desselben Testsatzes untergraben seine Unabhängigkeit. Überanpassung bezeichnet eine zu starke Anpassung an Besonderheiten der Lerndaten, die sich nicht ausreichend auf neue Daten übertragen. Goodfellow, Bengio und Courville, 2016: Deep Learning, „Machine Learning Basics“

Für unsere Videos wäre eine zufällige Aufteilung einzelner Ausschnitte riskant. Fast identische Szenen derselben Aufnahme könnten in unterschiedlichen Teilmengen landen. Ein gutes Testergebnis würde dann wenig darüber aussagen, wie das Modell auf neue Veranstaltungen reagiert.

Der vorgeschlagene Prüfplan trennt deshalb nach vollständigen Aufnahmen oder Veranstaltungsreihen. Soll die Anwendung später mit unbekannten Sprechenden umgehen, wird auch diese Situation ausdrücklich geprüft. Die Trennung folgt dem geplanten Einsatz, nicht einer beliebigen Prozentverteilung.

Die richtige Kennzahl hängt vom Fehler ab

Ein eigenes Zahlenbeispiel: Nur ein Prozent einer Sammlung enthält eine bestimmte Art problematischer Inhalte. Ein System, das immer „unproblematisch“ ausgibt, erreicht 99 Prozent Genauigkeit und erkennt trotzdem keinen relevanten Fall. Die Gesamtgenauigkeit verschleiert hier die entscheidende Schwäche.

Für unsere Anwendung würden wir deshalb Fehlerarten getrennt erfassen. Bei Transkripten könnten falsche Fachbegriffe die Suche besonders stark beeinträchtigen. Bei Themenzuordnungen wären fehlende und unzutreffende Kategorien getrennt zu betrachten. Bei Empfehlungen müsste zunächst feststehen, ob das Ziel mehr Nutzung oder eine bessere Unterstützung beim Lernen ist.

Auch ein ausgegebener Score braucht eine klare Bedeutung. Ein Ähnlichkeitswert ist nicht automatisch die Wahrscheinlichkeit, dass ein Treffer korrekt ist. Die Oberfläche sollte eine solche Interpretation nur verwenden, wenn das Verfahren sie tatsächlich trägt. Sonst erzeugt die Prozentanzeige lediglich scheinbare Präzision.

Grenzen dokumentieren und Änderungen vergleichen

Model Cards strukturieren Angaben zum vorgesehenen Einsatz, zur Evaluation und zu Leistungsunterschieden unter verschiedenen Bedingungen. Die Originalarbeit schlägt solche Dokumente als Begleitung veröffentlichter Modelle vor, damit ihre Eignung besser beurteilt werden kann. Mitchell et al., 2019: Model Cards for Model Reporting

Für die Mediathek würden darin geprüfte Sprachen, Fachgebiete, Aufnahmesituationen und bekannte Fehler stehen. Eine neue Modellversion würde mit dem bisherigen Stand an denselben Entwicklungsaufgaben verglichen; die abschließende Testauswertung bliebe davon getrennt. Auch Laufzeit und Ressourcenbedarf gehören in diesen Vergleich.

Die Suche in Teil 5 nutzt solche Modelle für Repräsentationen und Ranking. Der Projektartikel verbindet diese Modellbewertung mit technischen Abnahmen und tatsächlichen Nutzungsaufgaben.