Eine intelligente Mediathek bauen: vom Entwurf zur überprüfbaren Anwendung
Ein umsetzbarer Projektplan für eine intelligente Mediathek: Funktionsumfang, Verarbeitungskette, Suchbaseline, Evaluation und nachvollziehbare Abnahmen.
Eine Anwendung kann Videos transkribieren, Vektoren berechnen und Antworten formulieren. Trotzdem bleibt offen, ob jemand damit schneller die richtige Erklärung findet. Ein Entwicklungsprojekt für intelligente Medienanwendungen muss diese Lücke schließen: zwischen einzelnen technischen Fähigkeiten und einer nachweisbar hilfreichen Nutzung.
Dieser abschließende Teil übersetzt die vorherigen Artikel in einen konkreten Projektvorschlag. Die Mediathek und die beschriebenen Prüfungen sind ein Entwurf. Es werden keine bereits erzielten Ergebnisse behauptet.
Ein Ziel, an dem sich Entscheidungen messen lassen
Das Ziel lautet: Studierende sollen eine konkrete Erklärung in einem Videobestand finden und direkt an der passenden Stelle ansehen können. Der erste Funktionsumfang enthält deshalb Import, Wiedergabe, Transkript, Suche und Sprungmarken.
Empfehlungen, eine generierte Antwort und visuelle Bestandsanalysen sind mögliche Erweiterungen. Sie erhalten erst dann Priorität, wenn eine konkrete Aufgabe sie begründet. Diese Begrenzung macht die erste Version vollständig prüfbar: Ein kleiner Bestand kann bereits vom Import bis zum gefundenen Ausschnitt durchlaufen werden.
Als Ausgangsdaten würden geeignete Lehrvideos mit geklärter Nutzungsmöglichkeit ausgewählt. Unterschiedliche Längen, Aufnahmesituationen und Fachbegriffe sollten vertreten sein. Ein Bestand aus lauter technisch ähnlichen Aufnahmen würde wichtige Fehlerfälle ausblenden.
Die erste Verarbeitungskette
Der vorgeschlagene Ablauf beginnt mit einem gespeicherten Medienobjekt und einer eindeutig identifizierten Medienversion. Nach der technischen Prüfung wird das Video abspielbar. Anschließend entsteht ein Transkript mit Zeitmarken. Die Suche indexiert daraus Segmente, die auf genau diese Version verweisen.
Import → Medienprüfung → Wiedergabe verfügbar
↘ Transkript → Segmente → Suchindex
↓
Treffer → Originalstelle
Jeder Schritt bekommt einen nachvollziehbaren Status. Fehler in der Transkription lassen die funktionierende Wiedergabe bestehen. Ein erneuter Auftrag erzeugt keine unkontrollierten Duplikate. Diese Regeln verbinden die Softwarearchitektur aus Teil 1, die verteilten Abläufe aus Teil 2 und das Datenmodell aus Teil 4.
Eine Baseline vor der Erweiterung
Der erste Suchstand verwendet wortbasierte Suche. Er bildet die Baseline, gegen die spätere Varianten verglichen werden. Danach kann eine Vektorsuche folgen und anschließend gegebenenfalls eine hybride Kombination.
Für den Vergleich erstellt das Team realistische Fragen und markiert fachlich passende Passagen. Die Sammlung enthält direkte Fachbegriffe, Eigennamen und Umschreibungen. Mehrere Passagen können für dieselbe Frage richtig sein. Unklare Fälle werden dokumentiert, statt künstlich eine einzige korrekte Stelle festzulegen.
Ein Teil dieser Aufgaben dient der Entwicklung, ein zurückgehaltener Teil der abschließenden Bewertung. Die Retrieval-Grundlagen aus Teil 5 und die Datentrennung aus Teil 6 liefern dafür den methodischen Rahmen.
Technische Abnahme und Nutzung getrennt prüfen
Die technische Abnahme untersucht, ob die Anwendung ihre Verträge erfüllt. Eine Nutzungsuntersuchung prüft, ob Menschen mit ihr die Aufgabe lösen. Für das Beispiel schlagen wir folgende Meilensteine vor:
| Meilenstein | Beobachtbarer Nachweis |
|---|---|
| Import und Wiedergabe | Eine Datei lässt sich importieren und vollständig abspielen. |
| Transkript und Zeitbezug | Geprüfte Textstellen führen zur richtigen Medienversion und Position. |
| Suchbaseline | Der festgelegte Prüfbestand lässt sich reproduzierbar auswerten. |
| Modellvergleich | Unterschiede nach Fragetyp, Laufzeit und Ressourcenbedarf sind dokumentiert. |
| Nutzung | Teilnehmende bearbeiten realistische Suchaufgaben; Erfolg und Umwege werden erfasst. |
| Betrieb | Wiederholung, Ausfall, Löschung und Rechteänderung haben definierte Ergebnisse. |
Konkrete Qualitätsgrenzen würde das Team vor der abschließenden Prüfung festlegen. Sie hängen vom Einsatz ab. Eine frei erfundene universelle Mindestquote würde die Frage nach den tatsächlich akzeptablen Fehlern nur verdecken.
Bei der Nutzungsuntersuchung zählt ein schneller Klick nicht automatisch als Erfolg. Die gefundene Passage muss zur Aufgabe passen. Der Plan aus Teil 3 zur UX-Evaluation verbindet deshalb fachliche Kontrolle, Zeitmessung und Beobachtung.
Modellwechsel sind Änderungen am Gesamtsystem
Ein neues Transkriptionsmodell kann Texte und Zeitmarken verändern. Ein anderes Embeddingmodell kann einen neu aufgebauten Suchindex erfordern. Technische Schulden entstehen in ML-Systemen unter anderem durch Datenabhängigkeiten, Rückkopplungen und die zusätzliche Komplexität rund um das Modell. Sculley et al., 2015: Hidden Technical Debt in Machine Learning Systems
Der Projektentwurf speichert deshalb Eingabeversion, Verfahren und Ergebnisversion. Neue Ergebnisse ersetzen bestehende Fassungen erst nach einer vorgesehenen Prüfung. Ein Rückweg zur vorherigen Fassung muss möglich sein, wenn eine Änderung unerwartete Fehler verursacht.
Das gilt auch für abgeleitete Daten. Wird ein Video entfernt, müssen Suchsegmente, Vorschaubilder und weitere Kopien berücksichtigt werden. Ein erfolgreicher Löschvorgang ist im Beispiel erst abgeschlossen, wenn die dazu definierten Zugriffe und Ableitungen behandelt sind.
Verantwortung in überprüfbare Aufgaben übersetzen
Das freiwillige NIST AI Risk Management Framework 1.0 strukturiert Aktivitäten mit den Funktionen Govern, Map, Measure und Manage. Es unterstützt dabei, Verantwortlichkeiten festzulegen, den Einsatzkontext zu verstehen, Risiken zu bewerten und geeignete Maßnahmen umzusetzen. Diese Funktionen begleiten den Lebenszyklus und sind keine einmalig abzuarbeitende lineare Checkliste. NIST, 2023: AI Risk Management Framework
Für die Mediathek ergeben sich daraus konkrete Zuständigkeiten: Wer prüft problematische Transkriptionsfehler? Wer bestätigt Themenzuordnungen? Wer bewertet einen Modellwechsel? Welche Person entscheidet bei widersprüchlichen fachlichen Bewertungen? Die Antworten werden Teil der Arbeitsabläufe und der Projektdokumentation.
Was zur fertigen Abgabe gehört
Das Ergebnis umfasst eine startbare Anwendung, einen dokumentierten Aufbau, nachvollziehbare Beispieldaten, den Evaluationsbericht und bekannte Grenzen. Die Medienprüfung aus Teil 7 hält die Grundlage zuverlässig. Eine Bestandsansicht aus Teil 8 kann ergänzen, wo Inhalte oder geprüfte Daten fehlen.
Ein hilfreicher Evaluationsbericht könnte zeigen, dass Vektorsuche bei Umschreibungen besser funktioniert, aber bei exakten Eigennamen schwächer abschneidet. Das wäre zunächst ein differenzierter Befund, aus dem eine weitere Entscheidung folgt. Solche Ergebnisse lassen sich prüfen, reproduzieren und gezielt verbessern.