Die Model Card beschreibt sowohl den fachlichen Anwendungsfall als auch seine technische Implementierung. Model Cards dienen vor allem der Transparenz für Entwickler:innen, Redakteur:innen und für Nutzer:innen der ZDFmediathek.
Zielsetzung von „Weil Du 'Beitrag' geschaut hast“
Nutzer:innen werden ähnliche Inhalte in der ZDFmediathek zu bereits gesehenen VoDs/Serien angeboten.
Inhalte und Regeln
Algorithmen greifen bei der Empfehlung von Inhalten nicht auf alle Inhalte zurück, die in der ZDF Mediathek vorhanden sind oder von der Nutzer:in gesehen wurden. Je nach Einsatzort und Ziel eignen sich bestimmte Inhalte besser oder schlechter. Die Teilmenge an Inhalten, auf die ein Algorithmus bei der Ausspielung zurückgreifen darf, ist pro Anwendungsfall über Regeln in Abstimmung mit der ZDF Redaktion bestimmt. Im Folgenden sind die Details gelistet.
Alle ZDF-Inhalte mit VoD aus der gleichen Rubrik wie der Ausgangsbeitrag, ausgenommen Inhalte unterhalb folgender Strukturknoten:
Rubriken:
Barrierefreiheit im ZDF, funk, ZDFunternehmen, Nachrichten, Phoenix, Service Und Hilfe, International
Sendungsbereiche:
ARTE: ARTE Journal, H24, Karambolage, Märkte Europas, Mit offenen Karten, Stadt Land Kunst, The European Collection, Tracks, Twist, Zu Tisch
Kultur: Aspekte, Kulturzeit, Auslandsjournal Extra, Berlin direkt, Frontal 21, Länderspiegel, Politik sonstige, Standpunkte, Wahlen im ZDF
Bundesliga: Bundesliga und 2. Bundesliga, Das große Best-of Bundesliga, Bundesliga und 2. Bundesliga - Saison 2021/22
Sport: Das Aktuelle Sportstudio, Die Finals 2022, UEFA EURO 2020, Mainzer Keller - Der Bundesliga-Talk, Olympia - Peking 2022, Paralympics - Peking 2022, Sportler des Jahres, Champions League - Saison 2021/22, UEFA Champions League, Wintersport | Saison 2022/23, FIFA Frauen WM 2019, UEFA U21-EM, Schwimm-WM 2019, ZDF SPORTextra
Verbraucher: MAKRO, WISO,
Wissen: NANO
Hier erklären wir, welche publizistischen Regeln für die Ausspielung der Empfehlung gelten.
Nutzer:innen über das Datenschutz- in CMP nicht Personalisierung zugestimmt haben
Art des empfohlenen Inhaltes:
für Beiträge vom Typ Episode werden nur Episoden empfohlen
für Beiträge vom Typ Clip werden Clips und Episoden empfohlen
Metadaten
Pro Anwendungsfall kann sich wesentlich unterscheiden, welche Metadaten Algorithmen für die Berechnung verwenden. Metadaten beschreiben zum Beispiel den Inhalt, die Umgebung oder den Kontext, in dem sich die Nutzer:in zum Zeitpunkt der Empfehlung befindet. Mit Metadaten werden wichtige Fragen bezüglich des Anwendungsfalls und jeweiliger Nutzer:in beantwortet, z.B.: "Welche Empfehlungen werden abhängig von der Nutzerhistorie, dem Login-Status und der Präferenzen für welche Personengruppen ausgespielt? Welchen Inhalt haben Nutzer:innen vorher geschaut? Welcher Inhalt passt als nächstes am besten?"
Welche Nutzer:innen-Gruppen werden durch diesen Anwendungsfall bedient?
Jede Nutzer:in anhand ihrer individuellen Historie (solange der Datenschutzbestimmung zugestimmt)
Nutzer:innen mit und ohne Login werden gleichermaßen bedient
Wir verwenden verschiedene weitere Parameter, die sich aus der Umgebung der Nutzer:in ergeben, um eine passgenaue Empfehlung zu erzeugen. Wie zu Beispiel von welchem Abspielgerät oder Startpunkt in der ZDFmediathek die Anfrage kommt.
Geräteklasse, von der die Empfehlung aufgerufen wird (Tablet, Mobile, Web, Fernseher)
Aktuelle Seite in der ZDFmediathek (konkret: Startseite)
Algorithmus
Ein Algorithmus ist eine Anzahl vorgegebener Schritte, die ein Computer durchführen soll, um zu einem Ergebnis zu erlangen. Pro Empfehlungsband in der Mediathek verwenden wir unterschiedliche Algorithmen, um die verschiedenen Ziele der Anwendungsfälle bestmöglich abzubilden. Welches Modell wird genutzt? Wie und mit welchen Daten wird es trainiert? Gibt es Einschränkungen oder Bias? Antworten auf solche Fragen findest Du weiter unten.
Machine Learning Algorithmen werden mit Hilfe von verschiedenen Daten trainiert. Das Ergebnis dieses Trainings ist ein Modell. Hier kann es je nach Anwendungsfall zu wesentlichen Unterschieden kommen, die auch eine Auswirkung auf das Ergebnis haben.
Preprocessing. In einem ersten Schritt, findet eine Vorauswahl statt, um die gewünschten Daten für das Modelltraining bereitzustellen:
Filterung der Nutzungshistorie nach Pfaden (Speicherorten) im redaktionellen Content Management System
Zufälliges Sampling der Referenz-Beiträge aus gefilterter Nutzungshistorie
Basis-Algorithmus. Um unsere Modelle zu trainieren, verwenden wir Algorithmen, die auf Erkenntnissen der Wissenschaft basieren. Folgende Basis-Algorithmen und Quellen haben wir hier verwendet:
A/B-Gruppen A / B / D / E: Self-Attention Based Sequential Recommendation Model (SASRec-gbce)
Popularity debiasing: Empfehlungschancen populärer und weniger beliebter Inhalte werden angeglichen, indem eine Empfehlung von der derzeitigen Popularity eines Inhaltes entkoppelt wird.
Gruppe C: Self-Attention Based Sequential Recommendation Model (SASRec-tron-gbce)
Popularity debiasing: Empfehlungschancen populärer und weniger beliebter Inhalte werden angeglichen, indem eine Empfehlung von der derzeitigen Popularity eines Inhaltes entkoppelt wird.
Postprocessing. Nachdem ein Algorithmus eine Empfehlung ausgesprochen hat, müssen wir daraufhin wieder Regeln anwenden, um das Ergebnis noch zu verbessern:
Bereits von der Nutzer:in gesehene Videos werden nicht mehr angezeigt
Einzelbeiträge aus Serien, Comedy und Kinder werden aus der Empfehlung entfernt und stattdessen mit der Serie, zu der sie gehören, ersetzt.
Beschränkung auf ganze Sendungen mit mehr als 5 Minuten Länge
Beschränkung auf maximal 3 Beiträge pro Sendungsbereich
Entfernen von Duplikaten, falls mehrere Cluster ausgegeben werden
Machine Learning Algorithmen brauchen einen genau festgelegten Satz an Daten, anhand derer sie Muster lernen, um Empfehlungen aussprechen zu können. „Weil Du 'Beitrag' geschaut hast“ hat nutzungsbasierte Empfehlungen. Folgende Daten werden in diesem Anwendungsfall verwendet:
Nutzungsdaten:
Sequence Base Recommendation
30 Tage (ZDFtracking, alle Nutzer:innen), pro Geräteklasse
nur Plays mit mindestens 35% Nutzung des Videos
Denoising (Videos mindestens 20x gesehen über alle Nutzer:innen hinweg)
Metadaten:
Sequence Base Recommendation
aus redaktionellem Content Management System (zur Filterung von Inhalten)
Bias (qualitativ):
Sequence Base Recommendation
Recency (nur letzte 30 Tage Nutzungsdaten)
Popularity (30 Tage Nutzungsdaten, keine ungenutzten Inhalte, Denoising)
Exposure (nur genutzte Inhalte)
Beim Abruf von Empfehlungen aus der ZDFmediathek, sendet die Mediathek verschiedene Daten über die Nutzer:in mit. Bevor eine Empfehlung ausgesprochen wird, muss entschieden werden, welche der Daten für die Berechnung der Empfehlung überhaupt relevant sind. Im Folgenden sind die wichtigsten davon gelistet:
Nutzungshistorie:Bei der personalisierten Empfehlung werden die folgenden Ergebnisse aus der Nutzungshistorie in hierarchisch absteigender Folge berücksichtigt:
Alle Sichtungen mit mehr als 30 Sekunden Abspielfortschritt
Wenn dies zu leeren Sichtungen führen würde: alle Sichtungen ohne Filterung
Wenn Sichtungen insgesamt leer sind: alle Klicks
Wenn keine Historie mitgeschickt wird: Neueste Episode jeder gemerkten Sendung als Historie
Angebotsseite:
aktuelle Seite
Geräteklasse:
z.B: TV / Smartphone
Wie gut ein Model ist, wird durch kontinuierliche Tests bestimmt. Je nach Model kann es auch Unterschiede geben, wie häufig dieses aktualisiert wird und ob Ergebnisse von Tests automatisch in die Weiterentwicklung des Models einfließen.
Weiterentwicklung:
Sequence Model: reines Offline-Training, alle 4 Stunden, Bereitstellung des trainierten Modells unmittelbar nach dem Training
Collaborative Filtering: reines Offline-Training, alle 4 Stunden, Ablage von vorberechneten Empfehlungen unmittelbar nach dem Training
Text Model: reines Offline-Training, alle 3 Stunden, Ablage von vorberechneten Empfehlungen unmittelbar nach dem Training
Tests:
Kontinuerliche A/B-Tests zum Monitoring, jedoch...
kein automatisches Machine Learning nach A/B-Tests
keine automatische Hyperparameter-Optimierung
Key Performance Indicators (KPI's)
Algorithmen müssen so geschrieben werden, dass sie ein Ziel erreichen können. Um Ziele überprüfen zu können, müssen diese messbar sein. Messbare Ziele nennt man im Allgemeinen Key Performance Indikatoren oder in unserem Fall auch Metriken. Welche Testgrößen gibt es, um den Algorithmus / Anwendungsfall zu bewerten und zu optimieren? Lies weiter und finde es heraus!
Das Sehvolumen ist eine wichtige KPI für den Anwendungsfall „Weil Du 'Beitrag' geschaut hast“. Damit messen wir, wie erfolgreich die ausgespielten Empfehlungen bei den Nutzer:innen sind.
Hinweise allgemein / Known Issues
Hier dokumentieren wir Probleme und sonstige Informationen zu jedem Anwendungsfall, die wissenswert sind und nicht in eine der anderen Kategorien passen. Für den Anwendungsfall „Weil Du 'Beitrag' geschaut hast“ gilt Folgendes:
Sequence Base Recommendation: Die Qualität der Empfehlungen durch dieses Modell ist weitgehend unabhängig von der Qualität der Metadaten.