Im Rahmen des gemeinsamen Streaming-Netzwerks zwischen ARD und ZDF ist es bereits seit März möglich innerhalb des ZDF auch ARD-Inhalte zu schauen. In unserem „Auch Interessant“ Anwendungsfall spielen wir seitdem gemischte Empfehlungen aus ZDF- und ARD-Inhalten in den Bereichen Dokumentation und Kultur aus.

Seit Anfang Oktober wurde das Streaming-Netzwerk im Anwendungsfall „Auch Interessant“ auf weitere Rubriken erweitert. Nun umfassen gemeinsame Empfehlungen von ZDF- und ARD-Inhalten neben Kultur und Dokumentationen, auch die Bereiche Filme, Serien, Kinder und eine gemischte Rubrik mit Inhalten zu Themen aus der Gesellschaft, Comedy und Show. Damit ist nun unter den meisten Videos ein „Auch Interessant“ Empfehlungsband, was sich direkt in einem starken Anstieg des Sehvolumens widerspiegelt:

Die Public Value Metriken für die „Auch Interessant“ Empfehlungen variieren sehr stark, je nachdem welche Rubriken angezeigt werden. Im Vergleich zu den anderen Anwendungsfällen wie „Weil Du“ oder „Next-Video“ sind die Serendipity-Werte sehr hoch, insbesondere für die gemischten Empfehlungen bei Gesellschaft, Comedy und Show. Die Einführung der weiteren Rubriken hat auch dazu geführt, dass die Serendipity-Werte für andere bestehenden Anwendungsfälle im Durchschnitt etwas gefallen sind. Dies spricht dafür, dass die „Auch Interessant“ Empfehlungen auf den einzelnen Beitragsseiten die Neugier und Interesse der Nutzenden wecken, neue Rubriken anzuschauen und insgesamt zu einem vielfältigeren Sehverhalten führen.

Das ZDF wird ständig weiterentwickelt. Vor allem seit dem Start des Streaming-Netzwerks von ARD und ZDF sind interne Anpassungen manchmal unvermeidbar. Eine Neufassung der Kategorien (Rubriken) innerhalb des ZDF hat sichtbare Auswirkungen auf betroffene Metriken, vor allem die Diversity und die Serendipity. Erstere ist nur für den Anwendungsfall „Das Könnte Dich Interessieren“ relevant und die Änderung der Metrik vernachlässigbar. Im Folgenden wird diese Änderung an der Metrik Serendipity diskutiert, welche per Definition von den Kategorisierung der Rubriken abhängig ist.

Durch Änderungen am Metadatenkatalog des ZDF wurden die derzeitigen Kategorien wie Serie, Kultur oder Film überarbeitet. Dies führte zu einem Anstieg der Serendipity (in rosa dargestellt) am Tag der Umstellung (09.08.2023) und einem darauf folgenden Einpendeln (türkis). Die Ergebnisse zeigen im Detail:

• Die meisten Anwendungsfälle weisen eine kurze und starke Schwankungen auf, um sich dann etwa auf dem altem Niveau einzupendeln. Der Grund für den Ausschlag liegt an neuen Kategorien, die anfangs die Serendipity erhöhen, da sie vor ihrer Implementierung nicht in den Nutzungshistorien vorhanden waren. Zum Teil höhere Basiswerte nach der Umstellung spiegeln eine nun größere Anzahl der Kategorien wieder, was sich direkt positiv auf die genutzte Kategorienvielfalt (Serendipity) auswirkt.
• Der Anwendungsfall „Auch Interessant“ ist kaum betroffen, da hier jeweils nur eine Kategorie (Doku, Kultur) empfohlen wird.

Welche Kategorien sich geändert haben und welche weitere Auswirkungen dies auf die Empfehlungen innerhalb des ZDF hat, zeigen wir euch im nächsten Blog-Eintrag.

Folgende Neuerungen am Empfehlungssystem des ZDF wurden umgesetzt:

• Popularity Debiasing: Im März haben wir in einem Blog-Eintrag die Vorteile einer Gewichtung von Inhalten mit Hilfe der Popularity diskutiert, um die Benachteiligung weniger beliebter Inhalte in Empfehlungen zu reduzieren. Ausführliche Tests haben gezeigt, dass diese Methode unsere Empfehlungen signifikant verbessert. Deshalb wird das „Sequential Modell“ durch das Popularity Debiasing erweitert. Im folgenden wird der Unterschied zwischen den Modellen mit und ohne Popularity Sampling anhand von „Next-Video“ gezeigt:

A/B-Tests zeigen ein konstantes Sehvolumen, während die Popularity der empfohlenen Inhalte sinkt. Damit erfüllt die Erweiterung des „Sequential Modell“ durch das Popularity Sampling seinen Zweck und wird daher überall dort implementiert, wo zuvor das „Sequential Modell“ eingesetzt wurde. Weitere Details zum Popularity Sampling sind im dazugehörigen Blog-Eintrag zu finden. Diese Änderung betrifft hauptsächlich die Anwendungsfälle: „DKDI“, „Next-Video“ und „Auch-Interessant“.

• Coverage: Die Berechnung der Public Value Metrik Coverage für die Anwendungsfälle „Auch Interessant“, „Next Video“ und „Weil Du“ wurde angepasst. Zukünftig zeigt diese bei Vergleichen mit anderen Anwendungsfällen nur nicht-automatisierte Empfehlungen, wie z.B. reguläre Empfehlungen bei „Next Video“ (Ausschluss: Nest-Episode) oder Empfehlungen im Rahmen des Streaming-Netzwerks mit der ARD durch „Auch Interessant“ (Ausschluss: Weitere Folgen). Bei „Weil Du“ wurden technische Details der Berechnung angepasst. Durch diese Umstellung sind aktualisierte Daten zu dieser Metrik für die Anwendungsfälle „Auch Interessant“ und „Weil Du“ nur ab der letzten Juni-Woche vorhanden.
• Automatisierung: Bis Juni 2023 haben wir Analysen und Grafiken auf dieser Seite per Hand aufbereitet und eingepflegt. Zur Steigerung der Effizienz wurde beschlossen, dass die Datenpräsentation auf algorithmen.zdf.de automatisiert werden soll. Ab dem 1. Juli zeigen die Grafiken auf dieser Seite automatisch die aktuellen Metriken. Im Moment werden die Daten jeweils montags aktualisiert.

Wir haben wieder einige Updates für euch vorbereitet. Neben der angekündigten Analyse zu „Auch Interessant“, ist die größte Neuerung die gemeinsamen Empfehlungen von ZDF- und ARD-Inhalten innerhalb des ZDF durch den neuen Anwendungsfall „Auch Interessant“ für Dokus. Neuerungen gibt es vor allem in diesen Bereichen:

• Gemeinsame Empfehlungen von ZDF- & ARD-Inhalten: Als erster Anwendungsfall empfiehlt „Auch Interessant“ Inhalte aus dem ZDF und der ARD-Mediathek. Im Moment wird dieser Algorithmus nur im Bereich www.zdf.de/dokumentation eingesetzt. Bald kommt noch der Bereich Kultur hinzu.
• Analyse des Anwendungsfalls „Auch Interessant“: Wie versprochen haben wir die Analyse nachgeliefert, welche unter „Auch Interessant“ zu finden ist. Zusätzlich zu den schon zuvor bekannten Metriken haben wir hier Klicks als Performance Metrik und die Popularity als Public Value Metrik eingefügt.
• Wir haben die Auswertung zur Coverage überarbeitet. Dabei haben wir die Berechnung der Coverage korrigiert, die in der Vergangenheit manchmal die Anzahl der möglichen zu empfehlenden Inhalte zu niedrig angesetzt hat. Durch diese Korrektur kann die berechnete Coverage in Zukunft etwas geringer ausfallen.

Algorithmen, die anhand von Nutzungsdaten trainiert werden (das gilt für die meisten Anwendungsfälle im ZDF) lernen vor allem die auffälligsten Merkmale dieser Datensätze. Ein Beispiel dafür ist die Popularity / Beliebtheit von Inhalten: Wenige Inhalte bekommen verhältnismäßig viel Aufmerksamkeit. Beispielsweise machte am 25. Februar 2023 die heute-show allein mehr als 6 Prozent aller Sichtungen des gesamten ZDF aus. Schauen sich viele Nutzer:innen denselben Inhalt an, lernt der Algorithmus, dass dieser Inhalt sehr beliebt ist und empfiehlt ihn deshalb häufiger als andere, weniger beliebte Inhalte. Dieses Verhalten des Modells nennt man „Popularity Bias“. Der öffentliche Auftrag des ZDF steht allerdings im Widerspruch dazu, nur beliebte Inhalte zu empfehlen. Wenn weniger genutzte Inhalte besonders gut zu den Interessen einer Nutzer:in passen, sollten diese auch vorgeschlagen werden. 

Wir haben den Empfehlungsalgorithmus für „Das könnte Dich interessieren“ so angepasst, dass er die Beliebtheit der Inhalte im Training berücksichtigt. Durch eine veränderte Gewichtung lernt der Algorithmus besser zu unterscheiden, welche Inhalte sehr populär sind oder tatsächlich gut zu den Interessen einer Nutzer:in passen.

Um zu überprüfen, ob durch diese Anpassung tatsächlich ein „Popularity Debiasing“ stattfindet, also beliebte Inhalte seltener vorgeschlagen werden, testen wir den angepassten Algorithmus in einem A/B-Test. Die Nutzer:innen werden dafür zufällig in zwei Gruppen aufgeteilt. Eine Gruppe (A) bekommt nun bei „Das könnte Dich interessieren“ Empfehlungen mit dem bisherigen Algorithmus, die andere (C) mit dem angepassten Algorithmus. Die Metrik Popularity misst die Beliebtheit eines Beitrages, indem alle Inhalte bezüglich ihrer Anzahl an Sichtungen geordnet werden. Zur besseren Vergleichbarkeit messen wir die durchschnittliche Popularity des jeweils ersten Beitrags im Empfehlungsband. Mit der Metrik Novelty messen wir, ob der Algorithmus im ganzen Band auch weniger genutzte Inhalte ausspielt. Um festzustellen, ob der Algorithmus weiterhin gut bei den Nutzer:innen ankommt, messen wir auch das durch die Nutzung der Empfehlungen erzeugte Sehvolumen.

Die Ergebnisse zeigen:

• Populäre Inhalte werden weniger empfohlen. Um den Unterschied des Popularity Werts im Graphen in Relation zu Setzen schauen wir nochmal zusätzlich das Beispiel der heute-show an: Diese wurde mit Debiasing ca. 20% weniger empfohlen.
• Das Sehvolumen hat sich verbessert. Mittelt man das Sehvolumen und vergleicht den relativen Unterschied der beiden Gruppen, sieht man in der Debiasing Gruppe eine Verbesserung von mehr als 20%.

Dies spricht dafür, dass durch das Popularity Debiasing Inhalte empfohlen werden, die besser zu den persönlichen Interessen der Nutzer:innen passen.