„Auch Interessant“

Model Card



17.06.2024


Die Model Card beschreibt sowohl den fachlichen Anwendungsfall als auch seine technische Implementierung. Model Cards dienen vor allem der Transparenz für Entwickler:innen, Redakteur:innen und für Nutzer:innen der ZDFmediathek.

Zielsetzung von „Auch Interessant“

Der Anwendungsfall wird auf der Beitragsseite angezeigt und soll ähnliche Inhalte zum derzeitigen Beitrag empfehlen. Es werden zwei Empfehlungsbänder durch „Auch Interessant“ angezeigt:

  1. Weitere Folgen: es werden weitere Folgen aus der gleichen Staffel, dem gleichen Sendungsbereich oder der Doku-Reihe empfehlen.
  2. Streaming-Netzwerk: im Rahmen des gemeinsamen, übergreifenden ARD/ZDF-Streaming-Netzwerks zum Ausspielen gemeinsamer Empfehlungen aus beiden Mediatheken

Inhalte und Regeln

Algorithmen greifen bei der Empfehlung von Inhalten nicht auf alle Inhalte zurück, die in der ZDF Mediathek vorhanden sind oder von der Nutzer:in gesehen wurden. Je nach Einsatzort und Ziel eignen sich bestimmte Inhalte besser oder schlechter. Die Teilmenge an Inhalten, auf die ein Algorithmus bei der Ausspielung zurückgreifen darf, ist pro Anwendungsfall über Regeln in Abstimmung mit der ZDF Redaktion bestimmt. Im Folgenden sind die Details gelistet.

Weitere Folgen:

  • Serielle Inhalte:

    • Teil eines Topics:
      • alle sichtbaren Episoden aller Staffeln des Topics, die VoD haben, sortiert aufsteigend nach Staffel- und Episoden-Nummer ab der ersten Staffel
    • Teil eines Brands:
      • alle sichtbaren Episoden der selben Staffel wie Referenz-Beitrag, die VoD haben
  • Nicht serielle Inhalte:

    • Teil eines Topics:
      • alle sichtbaren Episoden des Topics, die VoD haben, sortiert nach neusten zuerst
    • Teil eines Brands:
      • alle sichtbaren Episoden des Brands, die VoD haben, sortiert nach neusten zuerst


Streaming-Netzwerk:

Es wird nach der Kategorie des Ausgangsbeitrags unterschieden welche Inhalte angezeigt werden.

  • Unter www.zdf.de/dokumentation:
    • alle Inhalte mit VoD von ZDF und ARD aus der Kategorie:
      • Dokumentation
    • Davon ausgeschlossen:
      • ZDFinternational
      • alle Beiträge, deren VoD kürzer als 14,5 Minuten ist
      • alle Beiträge, die im darüber platzierten "Weitere Folgen"-Cluster auf der Angebotsseite enthalten sind
  • Unter www.zdf.de/kultur:

    • alle Inhalte mit VoD von ZDF und ARD aus den Kategorien:
      • Kultur
      • Dokumentation
      • Wissen
      • Gesellschaft
      • Politik
    • Davon ausgeschlossen:
      • ZDFinternational
      • alle Beiträge, deren VoD kürzer als 14,5 Minuten ist
      • alle Beiträge, die im darüber platzierten "Weitere Folgen"-Cluster auf der Angebotsseite enthalten sind
  • Unter www.zdf.de/serien:

    • alle Serien mit VoD von ZDF und ARD
    • Davon ausgeschlossen:
      • ZDFinternational
  • Unter www.zdf.de/filme:

    • alle Filme mit VoD von ZDF und ARD
    • Davon ausgeschlossen:
      • alle Beiträge, deren VoD kürzer als 14,5 Minuten ist
      • alle Beiträge, die im darüber platzierten "Weitere Folgen"-Cluster auf der Angebotsseite enthalten sind
  • Unter www.zdf.de/kinder:

    • alle Inhalte mit VoD von ZDF und ARD aus der Kategorie:
      • Kinder
  • Unter www.zdf.de/nachrichten, www.zdf.de/sport, www.zdf.de/politik werden keine automatisierten und personalisierten Empfehlungen ausgespielt.

  • Alle anderen Rubriken: Es werden Brands aus allen Kategorien empfohlen. Davon ausgeschlossen:

    • Nachrichten
    • Sport
    • Kinder Inhalte
    • ZDFInternational

Hier erklären wir, welche publizistischen Regeln für die Ausspielung der Empfehlung gelten.

Weitere Folgen:

  • maximal 26 Teaser

  • Serielle Inhalte:

    • Teil eines Topics:
      • an 1. Position Topic Teaser
      • Headline: Vorhandene Folgen
      • wenn nur Referenzbeitrag und Topic-Teaser vorhanden sind, keine Weitere Folgen
    • Teil eines Brands:
      • wenn nur Referenzbeitrag vorhanden ist, keine Weitere Folgen
      • sortiert nach Episoden-Nummer beginnend mit der ersten verfügbaren Folge
      • Headline: Vorhandene Folgen Staffel (Staffelnummer)
  • Nicht serielle Inhalte:

    • Teil eines Topics:
      • an 1. Position Topic Teaser
      • Headline: Weiter Folgen von (Brand-Title)
      • wenn nur Referenzbeitrag und Topic-Teaser vorhanden sind, keine Weitere Folgen
    • Teil eines Brands:
      • Headline: Weiter Folgen von (Brand-Title)
      • wenn nur Referenzbeitrag vorhanden ist, keine Weitere Folgen


Streaming-Netzwerk:

  • Art der empfohlenen Inhalte unter www.zdf.de/dokumentation:

    • nur Beiträge vom Typ "episode" werden empfohlen
    • bei Doku-Reihen wird das "topic" statt der empfohlenen episode(s) ausgespielt
    • bei seriellen Inhalten wird die "brand" statt der empfohlenen episode(s) ausgespielt
  • Art der empfohlenen Inhalte unter www.zdf.de/kultur:

    • nur Beiträge vom Typ "episode" werden empfohlen
  • Art der empfohlenen Inhalte unter www.zdf.de/serien:

    • nur "brands" mit sichtbaren VoD werden empfohlen
  • Art der empfohlenen Inhalte unter www.zdf.de/filme:

    • nur Beiträge vom Typ "episode" werden empfohlen
  • Art der empfohlenen Inhalte unter www.zdf.de/kinder:

    • es werden nur Inhalte aus der gleichen Altersgruppe empfohlen.
    • Wir Unterscheiden zwischen Kleinkinderinhalten (ZDFchen 3-5 Jahre) und älteren Kindern (6-13 Jahre)
    • nur "brands" mit sichtbaren VoD werden empfohlen
  • Art der empfohlenen Inhalte unter allen anderen Rubriken:

    • nur "brands" mit sichtbaren VoD werden empfohlen


  • Einschränkung von Partnerinhalten :
    • ARD-Inhalte werden frühestens ab der dritten Position ausgespielt
    • ARD-Inhalte machen maximal ein drittel der ausgespielten Empfehlungen aus


Eine Empfehlung wird aktiv ausgeblendet, wenn:

  • weniger als 6 Ergebnisse enthalten wären


Die Einschränkung von Partnerinhalten führt dazu, dass keine Teaser angezeigt werden, wenn weniger als 4 ZDF-Teaser empfohlen würden.

Metadaten

Pro Anwendungsfall kann sich wesentlich unterscheiden, welche Metadaten Algorithmen für die Berechnung verwenden. Metadaten beschreiben zum Beispiel den Inhalt oder die Umgebung, den Kontext, in dem sich die Nutzer:in zum Zeitpunkt der Empfehlung befindet. Mit Metadaten werden wichtige Fragen bezüglich des Anwendungsfalls und jeweiliger Nutzer:in beantwortet, z.B.: "Welche Empfehlungen werden abhängig von der Nutzerhistorie, dem Login-Status und der Präferenzen für welche Personengruppen ausgespielt? Welchen Inhalt haben Nutzer:innen vorher geschaut? Welcher Inhalt passt als nächstes am besten?"

Welche Nutzer:innen-Gruppen werden durch diesen Anwendungsfall bedient?

Weitere Folgen:

  • Es findet keine Personalisierung statt, da das Modell nur auf Beitrags-Metadaten basiert.

Streaming-Netzwerk:

  • Es findet keine Personalisierung statt, da das Modell nur auf Beitrags-Metadaten basiert.

Wir verwenden verschiedene weitere Parameter, die sich aus der Umgebung der Nutzer:in ergeben, um eine passgenaue Empfehlung zu erzeugen. Von welchem Abspielgerät kommt die Anfrage? Von welchem Startpunkt in der ZDFmediathek kommt die Anfrage?

Weitere Folgen:

Streaming-Netzwerk:

  • Ausgangsbeitrag

Algorithmus

Ein Algorithmus ist eine Anzahl vorgegebener Schritte, die ein Computer durchführen soll, um zu einem Ergebnis zu erlangen. Pro Anwendungsfall in der Mediathek verwenden wir unterschiedliche Algorithmen, um die verschiedenen Ziele der Anwendungsfälle bestmöglich abzubilden. Welches Modell wird genutzt? Wie und mit welchen Daten wird es trainiert? Gibt es Einschränkungen oder Bias? Antworten auf solche Fragen findest Du weiter unten.

Machine Learning Algorithmen werden mit Hilfe von verschiedenen Daten trainiert. Das Ergebnis dieses Trainings ist ein Modell. Hier kann es je nach Anwendungsfall zu wesentlichen Unterschieden kommen, die auch eine Auswirkung auf das Ergebnis haben.

Basis-Algorithmus. Um unsere Modelle zu trainieren, verwenden wir Algorithmen, die auf Erkenntnissen der Wissenschaft basieren. Folgende Basis-Algorithmen und Quellen haben wir hier verwendet:

Weitere Folgen:

  • einfache Aggregation & Sortierung wie oben beschrieben

Streaming-Netzwerk:

Machine Learning Algorithmen brauchen einen genau festgelegten Satz an Daten, anhand derer sie Muster lernen, um Empfehlungen aussprechen zu können. Folgende Daten werden in diesem Anwendungsfall verwendet:

Für Weitere Folgen kein Training, sondern nur ETL.

  • Metadaten:
    • aus redaktionellem Content Management System (verschiedene textuelle Spalten)


Für den gemeinsamen Fall des ARD/ZDF-Streaming-Netzwerks ist „Auch Interessant“ rein ähnlichkeitsbasiert:

  • Metadaten:

    • Content-Embeddings:
      • aus redaktionellem Content Management System (verschiedene textuelle Spalten)
  • Bias (qualitativ):

    • Content-Embeddings:
      • Informationsgehalt (sparse data bias: Beiträge redaktionell sehr unterschiedlich stark aufbereitet)

Beim Abruf von Empfehlungen aus der ZDFmediathek, sendet die Mediathek verschiedene Daten über die Nutzer:in mit. Bevor eine Empfehlung ausgesprochen wird, muss entschieden werden, welche der Daten für die Berechnung der Empfehlung überhaupt relevant sind. Im Folgenden sind die wichtigsten davon gelistet:

Angebotsseite:

  • aktuelle Seite

Ausgangsbeitrag:

  • entspricht der Angebotsseite bei Beitragsseiten, unterschiedlich bei Übersichtsseiten

Nur im gemeinsamen ARD/ZDF-Fall:

  • Beiträge des auf der Angebotsseite darüber platzierten "Weitere Folgen"-Clusters

Wie gut ein Model ist, wird durch kontinuierliche Tests bestimmt. Je nach Model kann es auch Unterschiede geben, wie häufig dieses aktualisiert wird und ob Ergebnisse von Tests automatisch in die Weiterentwicklung des Models einfließen.

Tests:

  • Kontinuerliche A/B-Tests zum Monitoring, jedoch...
  • kein automatisches Machine Learning nach A/B-Tests
  • keine automatische Hyperparameter-Optimierung

Key Performance Indicators (KPI's)

Algorithmen müssen so geschrieben, werden, dass sie ein Ziel erreichen können. Um Ziele überprüfen zu können, müssen diese messbar sein. Messbare Ziele nennt man im Allgemeinen Key Performance Indikatoren oder in unserem Fall auch Metriken. Welche Testgrößen gibt es, um den Algorithmus / Anwendungsfall zu bewerten und zu optimieren? Lies weiter und finde es heraus!

Das Sehvolumen ist eine wichtige KPI für den Anwendungsfall „Auch Interessant“. Damit messen wir, wie erfolgreich die ausgespielten Empfehlungen bei den Nutzer:innen sind.

Hinweise allgemein / Known Issues

Hier dokumentieren wir Probleme und sonstige Informationen zu jedem Anwendungsfall, die wissenswert sind und nicht in eine der anderen Kategorien passen. Für den Anwendungsfall „Auch Interessant“ gilt Folgendes:

Weitere Folgen:

  • seriesPageIndexId muss gesetzt sein
  • Brands/Topics müssen sichtbare Inhalte haben
  • In redaktionellem Content Management System: Clusterlist in Bereichsgruppe mit Konfiguration video-page-clusterlist (ARD/ZDF-Fall) mit „Weitere Folgen“ und „Auch Interessant“
  • keine Empfehlungen auf Angebotsseiten vom Typ Clip und keine Beiträge vom Typ Clip in der Ausspielung enthalten

Streaming-Netzwerk:

  • Content-Embeddings: Der ähnlichkeitsbasierte Ansatz ist sehr abhängig von der Qualität der Texte und Tags in den Metadaten.
  • Für sehr neue Beiträge gibt es nur dann „Auch Interessant“, wenn sie ausreichend und aussagekräftige Texte und Tags haben.