Mehr ZDF
ZDF woanders
Service
Das ZDF
- Partner
-
-
-
-
-
-
-
Neben klassischen Leistungsmetriken wie Sehvolumen oder Klickrate (CTR) untersuchen wir bei unseren Algorithmen die Public Value Metriken Coverage, Novelty, Popularity, Diversity und Serendipity. Diese Metriken helfen uns, den recht abstrakten öffentlich-rechtlichen Auftrag pro Anwendungsfall konkret messbar zu machen. Im Folgenden erklären wir, wie und warum genau diese Metriken uns helfen, Algorithmen zu einem öffentlich-rechtlichen Werkzeug zu machen, und veranschaulichen sie anhand konkreter Beispiele. Die Grundlagen dieses - insbesondere im öffentlich-rechtlichen Rundfunk - völlig neuen Ansatzes haben wir in diesem Artikel gelegt.
Die Metrik Coverage beschreibt, wie viele Videos vom Gesamtbestand der ZDFmediathek den Nutzerinnen und Nutzern wirklich empfohlen werden.
Wären beispielsweise in der ZDFmediathek insgesamt 100 Videos verfügbar und der Algorithmus würde im Laufe des Tages 80 davon empfehlen, dann läge die Coverage bei 80%.
Wieso ist das öffentlich-rechtlich? Die Inhalte der Mediathek wurden vom Rundfunkbeitrag finanziert und sollen möglichst alle Personen in Deutschland abholen - mit unterschiedlichen Interessen, Vorwissen und Lebenssituationen. Daher sollten die Algorithmen möglichst alle Inhalte, also das gesamte Programmvermögen des ZDF und der Content-Partner anbieten, und nicht nur die erfolgreichsten und neuesten.
Novelty beschreibt, wie gut es den Algorithmen gelingt, wenig genutzte Inhalte anzubieten.
Wenn der Algorithmus vermehrt selten genutzte Inhalte empfiehlt, z.B. bei „Das Könnte Dich Interessieren", steigt damit die Novelty. Dadurch verbessert sich sowohl die Nutzung des Programmvermögens, als auch die Anpassung an individuelle Interessen der Nutzer:innen.
Wieso ist das öffentlich-rechtlich? Einige Inhalte werden nur von einer kleinen Zielgruppe genutzt. Wenn Algorithmen aber nur die neuesten und erfolgreichsten Inhalte empfehlen, bleiben solche Nischeninhalte leicht komplett außen vor. Durch Berücksichtigung der Novelty wird eine bessere Nutzung des Programmvermögens und eine Orientierung an „speziellen Interessen“ gefördert.
Popularity ist eine Ordnungsmetrik und beschreibt die Reihenfolge der Beliebtheit von Inhalten. Wird ein Inhalt bevorzugt geschaut, ist er dementsprechend beliebter als andere Inhalte. Untersucht man alle ausgespielten Inhalte für einen Anwendungsfall nach derer Beliebtheit, kann eine Rangfolge erstellt werden. Diese Rangfolge definiert die Popularity eines jeden Inhaltes im Vergleich zu allen anderen und ist damit der Metrik Novelty entgegengesetzt.
Popularity ordnet alle für einen Anwendungsfall verfügbaren Inhalte nach der Sichtungsfrequenz. Damit kann ein Algorithmus unterscheiden, ob der Inhalt eine Nutzer:in wirklich interessiert, oder einfach im Trend liegt.
Wieso ist das öffentlich-rechtlich? Wir sind daran interessiert, dass unsere Algorithmen allen Inhalten eine faire Chance geben und nicht einfach den derzeitigen Trend abbilden. Dafür nutzen wir die Popularity (nben Novelty) im Training unserer Modelle. Somit lernt der Algorithmus zu unterscheiden, welche Inhalte individuell interessant und welche allgemein beliebt sind.
Diversity beschreibt, wie unterschiedlich die Inhalte sind, die Nutzer:innen empfohlen werden.
Wenn zum Beispiel auf der Startseite der Mediathek im „Das könnte Dich interessieren"-Band alle empfohlenen Inhalte aus der gleichen Kategorie/Rubrik stammen, wäre die Vielfalt dieser Empfehlungen 0%. Sind alle Rubriken (Sport, Nachrichten....) vertreten, dann ist die Diversity 100%.
Wieso ist das öffentlich-rechtlich? Vielfalt ist ein im öffentlich-rechtlichen Auftrag explizit erwähnter Wert. Nur inhaltliche Vielfalt innerhalb der Empfehlungen gibt Nutzer:innen die Möglichkeit, auch Inhalte außerhalb der bisherigen Interessen kennenzulernen.
Serendipity beschreibt, wie gut es Algorithmen gelingt, Nutzer:innen für Inhalte außerhalb ihrer bisherigen Interessen zu begeistern und Einblicke in ihnen noch unbekannte Themengebiete zu liefern. Anders als bei der Diversity geht es nicht um die angebotene Vielfalt, sondern um die tatsächlich genutzte.
Wenn das Empfehlungssystem Nutzer:innen, die bisher ausschließlich Serien gesehen haben, eine Doku vorschlägt, und sie diese dann auch anklicken, dann steigt die Serendipity des Anwendungsfalls.
Wieso ist das öffentlich-rechtlich? Es ist unsere Kernaufgabe, Nutzer:innen aktiv, umfassend und breit zu informieren und zu unterhalten. Dabei wollen wir sie aktiv aus ihrer persönlichen Inhaltsblase herausführen. Indem wir Videos aus allen Themenbereichen empfehlen, nach denen die Nutzer:innen nicht gesucht haben, die aber für sie relevant sind, trägt die ZDFmediathek zum Public Value des ZDF bei.
Die Bedeutung der einzelnen Metriken ist in den Anwendungsfällen unterschiedlich. Serendipity ist beispielsweise nur in personalisierten (oder segmentierten) Anwendungsfällen sinnvoll zu betrachten. Anwendungsfälle wie „Weil Du 'Beitrag' Geschaut Hast“ oder Next-Video, welche nur aus der zuletzt gesehenen Rubrik (z.B. Serien) oder eine einzelnen Inhalt empfehlen, haben eine Diversity von Null bezogen auf Rubriken. Eine hohe Coverage kann nicht erreicht werden, wenn man nur populäre Inhalte empfiehlt. Nicht zuletzt spielen die redaktionellen Vorgaben eines Anwendungsfalls oftmals gegen eine sinnvolle Auswertung einer Metrik.
Die Nutzung der ZDFmediathek unterliegt zeitlichen Schwankungen, was sich direkt an den Leistungsmetriken (Sehvolumen, Klickrate u.a.) zeigt. Diese temporalen Effekte, insbesondere wenn es keine regelmäßigen Effekte sind, können die Aussagekraft von Messungen stark beeinflussen und müssen deshalb bei allen Auswertungen immer mit betrachtet werden.
Wir können diese temporalen Fluktuationen in drei Gruppen aufteilen:
Die folgenden Grafiken basieren auf der Nutzung des „Weil Du 'Beitrag' Geschaut Hast“-Bands.
Diese Grafik zeigt eine für die Mediathek typische Verlaufskurve: Zwischen 18 und 23 Uhr oder auch am Wochenende nutzen unsere Nutzer:innen die Mediathek besonders stark.
Neben den normalen Schwankungen über Tag und Woche können Sport-, politische oder unvorhergesehene Ereignisse zu einer deutlich stärkeren Nutzung der Mediathek führen. Den Einfluss der Leichtathletik WM 2022 zwischen dem 15. und 21. August 2022 kann man zum Beispiel leicht in folgender Grafik verfolgen:
