Die richtige Passage finden: Information Retrieval und Text Mining
Wie Videos durchsuchbar werden: invertierte Indizes, BM25, semantische Suche, Text Mining und eine Evaluation, die passende Passagen statt bloßer Treffer zählt.
Du suchst nach „Wie verhindert man Überanpassung?“. Im Vortrag fällt stattdessen der Satz „Regularisierung reduziert Overfitting“. Eine reine Suche nach denselben Wörtern kann die Verbindung verpassen. Gleichzeitig sollte eine Suche nach einer konkreten Modellnummer keine ungefähr ähnlichen Begriffe bevorzugen.
Information Retrieval untersucht, wie relevante Informationen zu einem Bedarf gefunden werden. Text Mining erschließt Texte durch Klassifikation, Extraktion und weitere Analyseverfahren. In unserer Beispielmediathek beginnt beides mit dem Transkript, führt aber zu unterschiedlichen Ergebnissen: passenden Passagen einerseits und zusätzlichen Informationen über den Bestand andererseits.
Wortbasierte Suche bleibt eine wichtige Grundlage
Ein invertierter Index ordnet Begriffen die Dokumente oder Stellen zu, an denen sie vorkommen. Dadurch muss eine Anfrage nicht sämtliche Texte erneut lesen. Rankingverfahren bewerten die gefundenen Kandidaten. BM25 berücksichtigt unter anderem Begriffshäufigkeiten, die Seltenheit eines Begriffs im Bestand und Dokumentlängen. Für die Bewertung sind Precision und Recall grundlegend: der Anteil relevanter Ergebnisse unter den Treffern und der Anteil gefundener Ergebnisse an allen relevanten Ergebnissen. Manning, Raghavan und Schütze, 2008: Introduction to Information Retrieval
Ein eigenes Rechenbeispiel: Im Prüfbestand sind 20 Passagen für eine Frage relevant. Die Suche liefert zehn Treffer, acht davon passen. Precision beträgt 8/10, also 80 Prozent. Recall beträgt 8/20, also 40 Prozent. Die Ergebnisliste enthält überwiegend brauchbare Treffer, lässt aber viele relevante Stellen aus.
Welche Eigenschaft wichtiger ist, hängt von der Aufgabe ab. Wer eine einzige passende Erklärung sucht, möchte vor allem früh einen guten Treffer sehen. Wer sämtliche Erwähnungen eines Themas dokumentieren muss, benötigt eine möglichst vollständige Sammlung.
Ein Transkript ist oft die falsche Treffereinheit
Für unsere Mediathek wäre ein ganzes Vorlesungstranskript zu grob. Ein Treffer müsste einen Zeitbereich mit genügend Kontext enthalten. Gleichzeitig darf die Aufteilung die Bedeutung nicht zerstören: Eine Erklärung über zwei Absätze sollte nicht in zwei kaum verständliche Einzelteile zerfallen.
Ein möglicher Entwurf orientiert Segmente an Sprechpausen und thematischen Abschnitten und speichert jeweils Anfang, Ende und Medienversion. Ob überlappende Ausschnitte helfen, müsste geprüft werden. Zu viel Überlappung könnte die ersten Trefferplätze mit Varianten derselben Passage belegen.
Die Segmentierung ist damit Teil des Suchverfahrens. Ein besseres Ranking kann fehlenden Kontext nicht nachträglich herbeizaubern. Das Datenmodell aus Teil 4 hält die Zeitmarken und Versionen zusammen.
Gelernte Vektoren erweitern die Suche
Dense Retrieval bildet Anfragen und Passagen auf gelernte Vektoren ab. Über eine Ähnlichkeitsfunktion werden Kandidaten ausgewählt. So können auch unterschiedliche Formulierungen zueinanderfinden. Die Originalarbeit zu Dense Passage Retrieval demonstriert diesen Ansatz für offene Fragebeantwortung. Ihre Ergebnisse gelten für die dort untersuchten Datensätze und übertragen sich nicht automatisch auf jeden Fachbestand. Karpukhin et al., 2020: Dense Passage Retrieval for Open-Domain Question Answering
Für die Beispielmediathek wäre deshalb ein Vergleich sinnvoll: zunächst wortbasierte Suche, dann Vektorsuche, anschließend eine Kombination. Eine hybride Variante könnte Trefferlisten zusammenführen und erneut ordnen. Sie wäre eine zusätzliche Entwicklungsentscheidung, kein automatisch überlegenes Verfahren.
Besonders aufschlussreich wären getrennte Ergebnisse für Fachbegriffe, Eigennamen, Umschreibungen und fehlerhafte Transkriptionen. Ein Mittelwert über alle Fragen könnte verdecken, dass eine Variante in einer wichtigen Gruppe deutlich schlechter arbeitet. Teil 6 zum maschinellen Lernen erläutert die Bedeutung passender Prüfbedingungen.
Text Mining erzeugt zusätzliche Hinweise
Entitätserkennung kann Namen von Personen oder Organisationen identifizieren. Klassifikationsverfahren ordnen Texten Kategorien zu. Informationsextraktion untersucht beispielsweise Beziehungen und Ereignisse. Eine erkannte Namenszeichenfolge ist dabei noch keine eindeutige Identifikation einer realen Person; Kontext und Mehrdeutigkeit müssen berücksichtigt werden. Jurafsky und Martin: Speech and Language Processing, Online-Manuskript
Im Mediathekentwurf könnten diese Verfahren Themenfilter vorschlagen. Die Vorschläge würden mit Herkunft und Prüfstatus gespeichert. Ein Begriff wie „Java“ müsste im Kontext betrachtet werden, bevor daraus eine fachliche Zuordnung entsteht. Auch eine automatisch gewonnene Kategorie sollte korrigierbar bleiben.
Suche und generierte Antwort getrennt prüfen
Retrieval-Augmented Generation, RAG, verbindet das Auffinden externer Inhalte mit generativer Verarbeitung. Die ursprüngliche Arbeit kombiniert einen neuronalen Retriever mit einem generativen Modell. Externe Passagen bilden eine zusätzliche Informationsgrundlage; das Verfahren garantiert dadurch keine fehlerfreie Wiedergabe. Lewis et al., 2020: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Für unsere Mediathek würden wir daher drei Fragen getrennt prüfen: Wurde eine geeignete Quelle gefunden? Gibt die Antwort deren Aussage korrekt wieder? Führt der Quellenverweis zur richtigen Passage? Ein falscher Treffer und eine falsche Zusammenfassung verlangen unterschiedliche Korrekturen.
Eine Antwortfunktion käme erst hinzu, wenn die Suche bereits überprüfbar funktioniert. Bis dahin ist eine gute Trefferliste mit Textkontext und direkter Wiedergabe eine vollständige, nützliche Funktion. Wie Menschen damit tatsächlich arbeiten, untersucht Teil 3 zur UX-Evaluation. Der Projektartikel beschreibt den gemeinsamen Prüfbestand für diese Vergleiche.