Zur besseren Skalierbarkeit und Reduktion von Fehlerquellen, soll eine Änderung in Bezug auf das Modell-Training des „Das könnte Dich interessieren“" Anwendungsfalls durchgeführt werden. Im Detail geht es darum den Trainingsschritt des Empfehlungssystems nicht mehr lokal, sondern in der Cloud durchzuführen. Dafür wurde die A/B-Gruppe E am 21.07.2022 dementsprechend modifiziert und soll nun mit den anderen A/B-Gruppen, die unter der alten Einstellung laufen, verglichen werden. An der Empfehlungslogik sind keine Änderungen vorgesehen.

Die Performance kann auf verschiedene Art und Weise getestet werden. Einerseits kann man Leistungsmetriken messen, z.B. Sehvolumen oder die Klickrate. Andererseits sind wir auch an möglichen inhaltlichen Änderungen interessiert, die mit Hilfe der Public Value Metriken analysiert werden können. Im Folgenden wird die Änderung der A/B-Gruppe E in Bezug auf die vier Public Value Metriken dargestellt und mit den anderen Gruppen verglichen, um etwaige Unterschiede zu erkennen.

Alle vier Public Value Metriken zeigen für A/B-Gruppe E nach dem Update das gleiche Verhalten, wie vor der Änderung. Die Verläufe sind innerhalb der Messunsicherheit (hier nur für Gruppe E als rotes Band gezeigt; für andere Gruppen ähnlich) identisch. Eine geringe, aber sichtbare Auswirkung hat die Änderung in Bezug auf die Aktualität des Models, weil das in der Cloud trainierte Model sofort zum Einsatz kommt, während das lokale Training nur zu bestimmten Zeitpunkten aktualisiert wurde. Dies zeigt sich durch eine höhere Stabilität und weniger temporale Effekte, z.B. im Vergleich der Coverage oder auch der Serendipity.