„Bühne“

Model Card



17.06.2024


Die Model Card beschreibt sowohl den fachlichen Anwendungsfall als auch seine technische Implementierung. Model Cards dienen vor allem der Transparenz für Entwickler:innen, Redakteur:innen und für Nutzer:innen der ZDFmediathek.

Zielsetzung von „Bühne“

Den Nutzer:innen werden von der „Bühne“ neue Inhalte und zeitlose Klassiker vorgeschlagen.

Inhalte und Regeln

Algorithmen greifen bei der Empfehlung von Inhalten nicht auf alle Inhalte zurück, die in der ZDF Mediathek vorhanden sind oder von der Nutzer:in gesehen wurden. Je nach Einsatzort und Ziel eignen sich bestimmte Inhalte besser oder schlechter. Die Teilmenge an Inhalten, auf die ein Algorithmus bei der Ausspielung zurückgreifen darf, ist pro Anwendungsfall über Regeln in Abstimmung mit der ZDF Redaktion bestimmt. Im Folgenden sind die Details gelistet.

Bühnentaugliche Inhalte, ausgewählt von der Redaktion.

Davon ausgeschlossen:

  • bereits redaktionell verbaute Bühnen-Teaser
  • Inhalte, die von der Redaktion nicht für die Bühne freigegeben wurden
  • Inhalte ohne Video

Hier erklären wir, welche publizistischen Regeln für die Ausspielung der Empfehlung gelten.

  • Wenn ein Sendungsbereich (SB) und die dazu gehörende Episoden empfehlbar sind, wird nur der Sendungsbereich empfohlen.
  • Der segmentbasierte Teil der Bühne verändert sich für eine Nutzer:in in einem Aktualisierungsintervall zwischen 1 Stunde und 1 Tag nicht. Ein sinnvolles Intervall wird durch A/B-Tests und redaktionelle Expertise bestimmt.

Metadaten

Pro Anwendungsfall kann sich wesentlich unterscheiden, welche Metadaten Algorithmen für die Berechnung verwenden. Metadaten beschreiben zum Beispiel den Inhalt oder die Umgebung, den Kontext, in dem sich die Nutzer:in zum Zeitpunkt der Empfehlung befindet. Mit Metadaten werden wichtige Fragen bezüglich des Anwendungsfalls und jeweiliger Nutzer:in beantwortet, z.B.: "Welche Empfehlungen werden abhängig von der Nutzerhistorie, dem Login-Status und der Präferenzen für welche Personengruppen ausgespielt? Welchen Inhalt haben Nutzer:innen vorher geschaut? Welcher Inhalt passt als nächstes am besten?"

Welche Nutzer:innen-Gruppen werden durch diesen Anwendungsfall bedient?

  • Segmentbasiert, wenn Nutzungshistorie bekannt (eingeordnet als "Stammnutzer" in Segmente 1-6).
  • Auch für Nutzer:innen ohne Nutzungshistorie (eingeordnet als "Potentiale" in Segment 0).
  • Mit und ohne Login

Wir verwenden verschiedene weitere Parameter, die sich aus der Umgebung der Nutzer:in ergeben, um eine passgenaue Empfehlung zu erzeugen. Von welchem Abspielgerät kommt die Anfrage? Von welchem Startpunkt in der ZDFmediathek kommt die Anfrage?

  • Nutzersegment resultierend aus der Nutzungshistorie.
  • Aktuell gilt: Segment = häufigste Rubrik in der Nutzungshistorie. Die Segmente sind wie folgt definiert:
    • Segment 0: keine Nutzungshistorie (für "Potentiale" ohne Historie)
    • Segment 1: Serien und Filme
    • Segment 2: Comedy und Show
    • Segment 3: Doku und Wissen
    • Segment 4: Politik, Gesellschaft, Kultur und Verbraucher
    • Segment 5: Sport
    • Segment 6: Nachrichten
  • Startseiten-Bühne, redaktionell verbaute Teaser
  • Dopplung mit dem Anwendungsfall: „Das könnte Dich Interessieren“ ist nicht technisch ausgeschlossen, da inhaltlich unwahrscheinlich.
  • Antwortzeiten des P/A-Service müssen gering sein:
    • Für eingeloggte Nutzer:innen: P/A-Service ruft vorberechnetes Nutzersegment ab
    • Ohne Login: P/A-Service berechnet Nutzersegment aus Nutzungshistorie
    • Segmentbasierte Empfehlungen werden vorberechnet

Algorithmus

Ein Algorithmus ist eine Anzahl vorgegebener Schritte, die ein Computer durchführen soll, um zu einem Ergebnis zu erlangen. Pro Anwendungsfall in der Mediathek verwenden wir unterschiedliche Algorithmen, um die verschiedenen Ziele der Anwendungsfälle bestmöglich abzubilden. Welches Modell wird genutzt? Wie und mit welchen Daten wird es trainiert? Gibt es Einschränkungen oder Bias? Antworten auf solche Fragen findest Du weiter unten.

Machine Learning Algorithmen werden mit Hilfe von verschiedenen Daten trainiert. Das Ergebnis dieses Trainings ist ein Modell. Hier kann es je nach Anwendungsfall zu wesentlichen Unterschieden kommen, die auch eine Auswirkung auf das Ergebnis haben.

Preprocessing. Hier werden Inhalte gefiltert und Daten für den jeweiligen Zweck aufbereitet.

  • Filterung auf Inhalte mit Bühnen-Teaser
  • Mapping der Einzelinhalte auf Sendungsbereiche, wenn zutreffend.

Basis-Algorithmus. Um unsere Modelle zu trainieren, verwenden wir Algorithmen, die auf Erkenntnissen der Wissenschaft basieren. Folgende Basis-Algorithmen und Quellen haben wir hier verwendet:

Contextual Multi-Armed Bandit (CMAB):

Machine Learning Algorithmen brauchen einen genau festgelegten Satz an Daten, anhand derer sie Muster lernen, um Empfehlungen aussprechen zu können. Folgende Daten werden in diesem Anwendungsfall verwendet:

Nutzungsdaten:

  • Nutzungsdaten der letzten 5 Stunden gefiltert auf „Bühne“ und A/B-Gruppe für "Reward".

Metadaten:

  • aus redaktionellem Content Management System (zur Filterung von Inhalten)

Bias:

  • Popularity (30 Tage Nutzungsdaten, keine ungenutzten Inhalte, Denoising)
  • Exposure (nur genutzte Inhalte)
  • Data Sparsity (es existieren nur wenige Bühnen-Teaser).

Beim Abruf von Empfehlungen aus der ZDFmediathek, sendet die Mediathek verschiedene Daten über die Nutzer:in mit. Bevor eine Empfehlung ausgesprochen wird, muss entschieden werden, welche der Daten für die Berechnung der Empfehlung überhaupt relevant sind. Im Folgenden sind die wichtigsten davon gelistet:

Nutzungshistorie: Bei der personalisierten Empfehlung werden die folgenden Ergebnisse aus der Nutzungshistorie in hierarchisch absteigender Folge berücksichtigt:

  • Alle Sichtungen mit mehr als 30 Sekunden Abspielfortschritt
  • Wenn dies zu leeren Sichtungen führen würde: alle Sichtungen ohne Filterung
  • Wenn Sichtungen insgesamt leer sind: alle Klicks
  • Wenn keine Historie mitgeschickt wird: Neueste Episode jeder gemerkten Sendung als Historie

Angebotsseite:

  • Startseite

Wie gut ein Model ist, wird durch kontinuierliche Tests bestimmt. Je nach Model kann es auch Unterschiede geben, wie häufig dieses aktualisiert wird und ob Ergebnisse von Tests automatisch in die Weiterentwicklung des Models einfließen.

Weiterentwicklung:

  • Segmentberechnung: offline alle 4 Stunden

Tests:

  • Online-Training, alle 60 Minuten

Key Performance Indicators (KPI's)

Algorithmen müssen so geschrieben, werden, dass sie ein Ziel erreichen können. Um Ziele überprüfen zu können, müssen diese messbar sein. Messbare Ziele nennt man im Allgemeinen Key Performance Indikatoren oder in unserem Fall auch Metriken. Welche Testgrößen gibt es, um den Algorithmus / Anwendungsfall zu bewerten und zu optimieren? Lies weiter und finde es heraus!

Für Stammnutzer:innen: Das Sehvolumen ist eine wichtige KPI für den Anwendungsfall „Bühne“. Damit messen wir, wie erfolgreich die ausgespielten Empfehlungen bei den Nutzer:innen mit Nutzungshistorie sind.

Für Stammnutzer:innen: Die Serendipity misst für den Anwendungsfall „Bühne“, wie erfolgreich das Modell durch Exploration zuvor unbekannte Nutzer:inneninteressen aufdeckt.

Für Potentiale: Eine hohe Diversity ist ein Hauptanliegen von „Bühne“ für unbekannte Nutzer:innen ohne Historie. Wir optimieren den Algorithmus, sodass die ausgespielten Empfehlungen einen breit gestreuten Querschnitt durch verschiedene Themengebiete abbilden.

Mithilfe von Novelty wird sichergestellt, dass der Exposure Bias auf der „Bühne“ minimiert wird.

Hinweise allgemein / Known Issues

Hier dokumentieren wir Probleme und sonstige Informationen zu jedem Anwendungsfall, die wissenswert sind und nicht in eine der anderen Kategorien passen. Für den Anwendungsfall „Bühne“ gilt Folgendes:

  • CMAB: Der Lernfortschritt dieses Modells ist abhängig von der Nutzung.
  • Nicht alle Bühnen-Teaser werden personalisiert, sondern nur zuvor durch die Redaktion festgelegte Positionen. Redaktionelle Teaser bleiben bestehen.
  • Die ersten 3 Teaser sind redaktionell bestückt und werden nicht algorithmisch ausgespielt.