Das ZDF wird ständig weiterentwickelt. Vor allem seit dem Start des Streaming-Netzwerks von ARD und ZDF sind interne Anpassungen manchmal unvermeidbar. Eine Neufassung der Kategorien (Rubriken) innerhalb des ZDF hat sichtbare Auswirkungen auf betroffene Metriken, vor allem die Diversity und die Serendipity. Erstere ist nur für den Anwendungsfall „Das Könnte Dich Interessieren“ relevant und die Änderung der Metrik vernachlässigbar. Im Folgenden wird diese Änderung an der Metrik Serendipity diskutiert, welche per Definition von den Kategorisierung der Rubriken abhängig ist.

Durch Änderungen am Metadatenkatalog des ZDF wurden die derzeitigen Kategorien wie Serie, Kultur oder Film überarbeitet. Dies führte zu einem Anstieg der Serendipity (in rosa dargestellt) am Tag der Umstellung (09.08.2023) und einem darauf folgenden Einpendeln (türkis). Die Ergebnisse zeigen im Detail:

• Die meisten Anwendungsfälle weisen eine kurze und starke Schwankungen auf, um sich dann etwa auf dem altem Niveau einzupendeln. Der Grund für den Ausschlag liegt an neuen Kategorien, die anfangs die Serendipity erhöhen, da sie vor ihrer Implementierung nicht in den Nutzungshistorien vorhanden waren. Zum Teil höhere Basiswerte nach der Umstellung spiegeln eine nun größere Anzahl der Kategorien wieder, was sich direkt positiv auf die genutzte Kategorienvielfalt (Serendipity) auswirkt.
• Der Anwendungsfall „Auch Interessant“ ist kaum betroffen, da hier jeweils nur eine Kategorie (Doku, Kultur) empfohlen wird.

Welche Kategorien sich geändert haben und welche weitere Auswirkungen dies auf die Empfehlungen innerhalb des ZDF hat, zeigen wir euch im nächsten Blog-Eintrag.

Folgende Neuerungen am Empfehlungssystem des ZDF wurden umgesetzt:

• Popularity Debiasing: Im März haben wir in einem Blog-Eintrag die Vorteile einer Gewichtung von Inhalten mit Hilfe der Popularity diskutiert, um die Benachteiligung weniger beliebter Inhalte in Empfehlungen zu reduzieren. Ausführliche Tests haben gezeigt, dass diese Methode unsere Empfehlungen signifikant verbessert. Deshalb wird das „Sequential Modell“ durch das Popularity Debiasing erweitert. Im folgenden wird der Unterschied zwischen den Modellen mit und ohne Popularity Sampling anhand von „Next-Video“ gezeigt:

A/B-Tests zeigen ein konstantes Sehvolumen, während die Popularity der empfohlenen Inhalte sinkt. Damit erfüllt die Erweiterung des „Sequential Modell“ durch das Popularity Sampling seinen Zweck und wird daher überall dort implementiert, wo zuvor das „Sequential Modell“ eingesetzt wurde. Weitere Details zum Popularity Sampling sind im dazugehörigen Blog-Eintrag zu finden. Diese Änderung betrifft hauptsächlich die Anwendungsfälle: „DKDI“, „Next-Video“ und „Auch-Interessant“.

• Coverage: Die Berechnung der Public Value Metrik Coverage für die Anwendungsfälle „Auch Interessant“, „Next Video“ und „Weil Du“ wurde angepasst. Zukünftig zeigt diese bei Vergleichen mit anderen Anwendungsfällen nur nicht-automatisierte Empfehlungen, wie z.B. reguläre Empfehlungen bei „Next Video“ (Ausschluss: Nest-Episode) oder Empfehlungen im Rahmen des Streaming-Netzwerks mit der ARD durch „Auch Interessant“ (Ausschluss: Weitere Folgen). Bei „Weil Du“ wurden technische Details der Berechnung angepasst. Durch diese Umstellung sind aktualisierte Daten zu dieser Metrik für die Anwendungsfälle „Auch Interessant“ und „Weil Du“ nur ab der letzten Juni-Woche vorhanden.
• Automatisierung: Bis Juni 2023 haben wir Analysen und Grafiken auf dieser Seite per Hand aufbereitet und eingepflegt. Zur Steigerung der Effizienz wurde beschlossen, dass die Datenpräsentation auf algorithmen.zdf.de automatisiert werden soll. Ab dem 1. Juli zeigen die Grafiken auf dieser Seite automatisch die aktuellen Metriken. Im Moment werden die Daten jeweils montags aktualisiert.

Wir haben wieder einige Updates für euch vorbereitet. Neben der angekündigten Analyse zu „Auch Interessant“, ist die größte Neuerung die gemeinsamen Empfehlungen von ZDF- und ARD-Inhalten innerhalb des ZDF durch den neuen Anwendungsfall „Auch Interessant“ für Dokus. Neuerungen gibt es vor allem in diesen Bereichen:

• Gemeinsame Empfehlungen von ZDF- & ARD-Inhalten: Als erster Anwendungsfall empfiehlt „Auch Interessant“ Inhalte aus dem ZDF und der ARD-Mediathek. Im Moment wird dieser Algorithmus nur im Bereich www.zdf.de/dokumentation eingesetzt. Bald kommt noch der Bereich Kultur hinzu.
• Analyse des Anwendungsfalls „Auch Interessant“: Wie versprochen haben wir die Analyse nachgeliefert, welche unter „Auch Interessant“ zu finden ist. Zusätzlich zu den schon zuvor bekannten Metriken haben wir hier Klicks als Performance Metrik und die Popularity als Public Value Metrik eingefügt.
• Wir haben die Auswertung zur Coverage überarbeitet. Dabei haben wir die Berechnung der Coverage korrigiert, die in der Vergangenheit manchmal die Anzahl der möglichen zu empfehlenden Inhalte zu niedrig angesetzt hat. Durch diese Korrektur kann die berechnete Coverage in Zukunft etwas geringer ausfallen.

Algorithmen, die anhand von Nutzungsdaten trainiert werden (das gilt für die meisten Anwendungsfälle im ZDF) lernen vor allem die auffälligsten Merkmale dieser Datensätze. Ein Beispiel dafür ist die Popularity / Beliebtheit von Inhalten: Wenige Inhalte bekommen verhältnismäßig viel Aufmerksamkeit. Beispielsweise machte am 25. Februar 2023 die heute-show allein mehr als 6 Prozent aller Sichtungen des gesamten ZDF aus. Schauen sich viele Nutzer:innen denselben Inhalt an, lernt der Algorithmus, dass dieser Inhalt sehr beliebt ist und empfiehlt ihn deshalb häufiger als andere, weniger beliebte Inhalte. Dieses Verhalten des Modells nennt man „Popularity Bias“. Der öffentliche Auftrag des ZDF steht allerdings im Widerspruch dazu, nur beliebte Inhalte zu empfehlen. Wenn weniger genutzte Inhalte besonders gut zu den Interessen einer Nutzer:in passen, sollten diese auch vorgeschlagen werden. 

Wir haben den Empfehlungsalgorithmus für „Das könnte Dich interessieren“ so angepasst, dass er die Beliebtheit der Inhalte im Training berücksichtigt. Durch eine veränderte Gewichtung lernt der Algorithmus besser zu unterscheiden, welche Inhalte sehr populär sind oder tatsächlich gut zu den Interessen einer Nutzer:in passen.

Um zu überprüfen, ob durch diese Anpassung tatsächlich ein „Popularity Debiasing“ stattfindet, also beliebte Inhalte seltener vorgeschlagen werden, testen wir den angepassten Algorithmus in einem A/B-Test. Die Nutzer:innen werden dafür zufällig in zwei Gruppen aufgeteilt. Eine Gruppe (A) bekommt nun bei „Das könnte Dich interessieren“ Empfehlungen mit dem bisherigen Algorithmus, die andere (C) mit dem angepassten Algorithmus. Die Metrik Popularity misst die Beliebtheit eines Beitrages, indem alle Inhalte bezüglich ihrer Anzahl an Sichtungen geordnet werden. Zur besseren Vergleichbarkeit messen wir die durchschnittliche Popularity des jeweils ersten Beitrags im Empfehlungsband. Mit der Metrik Novelty messen wir, ob der Algorithmus im ganzen Band auch weniger genutzte Inhalte ausspielt. Um festzustellen, ob der Algorithmus weiterhin gut bei den Nutzer:innen ankommt, messen wir auch das durch die Nutzung der Empfehlungen erzeugte Sehvolumen.

Die Ergebnisse zeigen:

• Populäre Inhalte werden weniger empfohlen. Um den Unterschied des Popularity Werts im Graphen in Relation zu Setzen schauen wir nochmal zusätzlich das Beispiel der heute-show an: Diese wurde mit Debiasing ca. 20% weniger empfohlen.
• Das Sehvolumen hat sich verbessert. Mittelt man das Sehvolumen und vergleicht den relativen Unterschied der beiden Gruppen, sieht man in der Debiasing Gruppe eine Verbesserung von mehr als 20%.

Dies spricht dafür, dass durch das Popularity Debiasing Inhalte empfohlen werden, die besser zu den persönlichen Interessen der Nutzer:innen passen. 

Seit dem Start von algorithmen.zdf.de haben wir vielfältige Rückmeldungen zu diversen Themen von Euch erhalten. Wir möchten uns an dieser Stelle zuerst einmal bedanken: Für Euer Interesse, für die Nutzung dieses Angebotes und natürlich und vor allem für die konstruktive Kritik! Hier findet Ihr die Antworten auf die wichtigsten Fragen:

• Aktualität: Wir planen, etwa alle 2 bis 4 Wochen ein Update auszuspielen. Dieses kann entweder aus zusätzlichen Inhalten zu bestehenden Themen, einem neuen Anwendungsfall, oder auch einem Eintrag im Public Value Blog, so wie diesem hier, bestehen. Die gezeigten Daten in den Anwendungsfällen, z.B. in Metriken, werden monatlich aktualisiert.
• Algorithmen: Einige von Euch haben gefragt, ob man algorithmische Empfehlungen auch ausschalten kann. Die Antwort lautet: Jein. Hinter jedem Automatismus steckt ein Algorithmus, sei es das Suchergebnis oder die Sortierung von Inhalten nach Datum und Nutzung. Diese automatisierten Empfehlungen basieren nicht auf persönlichen Daten und können nicht abgestellt werden. Ausschalten lassen sich aber Empfehlungen, die auf persönlichen Daten beruhen. Hierfür genügt es, der Datenerhebung beim erstmaligen Öffnen der Webseite zu widersprechen oder sie unter "Mein ZDF" zu deaktivieren. Übrigens: Die Suche findet alle Inhalte, ohne dabei persönliche Daten zu verwenden.
• Ausblick: Wir möchten uns im Dezember neben einem Daten-Update bestehender Inhalte auch mit einem neuen Anwendungsfall bei Euch melden. Wir stellen Euch die „Next-Video“ Funktion vor, die viele von Euch sicher schon bemerkt haben, z.B. beim Streamen von Serien. Weiterhin versuchen wir ständig bestehende Inhalte und die Darstellung zu verbessern und neue Themen zu identifizieren, die wir Euch im Blog vorstellen können.

Unter algorithmen@zdf.de freuen wir uns über jedes weitere Feedback von Euch!