BMWK-gefördertes Forschungsprojekt stellt intelligente Verfahren zur Medienanalyse in den Fokus, um Mitarbeiter:innen von Medienunternehmen in ihrer Entscheidungsfindung zu unterstützen
Verfahren der Künstlichen Intelligenz (KI) bieten zukunftsweisende Anwendungen und eine zunehmend wichtige wirtschaftliche Grundlage für Medienunternehmen mit einer stark wachsenden Anzahl an digitalen Inhalten. KI kann dabei helfen, Informationen in Daten aufzudecken und sinnvoll zu verknüpfen, um bei Handlungen und Entscheidungen zu unterstützen, zum Beispiel durch die Empfehlung von passenden Inhalten.
Ziel des vom BMWK-geförderten Forschungsprojekts „AI4MediaData“ war es daher, Mediendaten mithilfe von KI-Methoden zu analysieren und die so gewonnenen Informationen für datenbasierte Entscheidungshilfen zu nutzen. In dem von Mitte 2019 bis Ende 2022 durchgeführten Projekt arbeiteten ZDF Digital, das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS, die DDG AG und die Hochschule Mainz zusammen. Mit Vorlage des Abschlussberichts am 30.6.2023 ist das Projekt nun vollständig abgeschlossen.
Gemeinsam mit zwei Medienpartnern wurden zwei KI-basierte prototypische Anwendungen entwickelt, die Mitarbeiter:innen von Medienunternehmen unterstützen sollen:
„Asset Match“ reichert bestehende Metadaten mit zusätzlichen Szenen- und bildbasierten Metadaten an und kann seinen Nutzer:innen dadurch inhaltsbasierte Empfehlungen anbieten. Die Anwendung kann beispielsweise das Vertriebsteam von Medienunternehmen bei der Suche nach inhaltlich passendem Content aus dem eigenen Archiv unterstützen und hilft dabei, bereits bestehendes Material effektiver weiterzuverwenden.
Der Prototyp „Highlight Search“ bietet einen Ansatz, um emotionale Highlights in Reality-TV-Formaten zu identifizieren. Auf Basis von audiovisuellen Features und Nutzungsdaten wurde ein Algorithmus entwickelt, der besonders emotionale Szenen in ganzen Episoden eines TV-Formats ermittelt und diese zur Nutzung durch Redakteur:innen in Form von Schnittmarken in anpassbaren Längen ausgibt, um daraus kurze Highlight-Clips vereinfacht erstellen zu können. Diese Clips können dann im Nachgang der Erst-Ausstrahlung über weitere (Social-Media) Plattformen in den unterschiedlich lang generierten Formaten vermarktet werden.
Volker Denkel – als Vertreter des Konsortialführers ZDF Digital – freut sich über die Ergebnisse: „Unsere Forschungsergebnisse eröffnen vielversprechende Möglichkeiten für die Medienbranche. Mit AI4MediaData haben wir eine solide Grundlage geschaffen, um den Umgang mit Medieninhalten zu optimieren, um letztendlich die Bedürfnisse der Zuschauer:innen besser zu erfüllen.“
Das AI4MediaData-Projekt hat gezeigt, dass Künstliche Intelligenz und fortschrittliche Datenanalyse eine transformative Kraft für die Medienlandschaft haben können. Die entwickelten Anwendungen eröffnen neue Möglichkeiten, Medieninhalte zu entdecken, zu verstehen und zu nutzen, um die Zuschauer:innen gezielter anzusprechen und die Interaktion zu verbessern. Dabei geholfen hat laut Prof. Dr. Sven Pagel, Leiter der Forschungsgruppe WIMM an der Hochschule Mainz, „die gute Zusammenarbeit zwischen den vier Konsortialpartnern und mit den beiden Medienpartnern, die ideale Möglichkeiten für einen zielführenden Transfer von wissenschaftlichen Erkenntnissen in anwendungsstarke (Medien-)Unternehmen bietet“.
Um die Ergebnisse für Akteure der Medienbranche zur Verfügung zu stellen und anwendungsorientiert zu veröffentlichen, erfolgte eine Publikationsreihe in der FKT – Fachzeitschrift für Fernsehen, Film und elektronische Medien über das Gesamtprojekt „AI4MediaData“ (Ausgabe 10/2022[1]) sowie die beiden Teilprojekte „Asset Match“ (Ausgabe 11/2022[2]) und „Highlight Search“ (Ausgabe 12/2022[3]).
Weitere Informationen über AI4MediaData und die Ergebnisse finden Sie unter: ai4mediadata.hs-mainz.de.
ZDF Digital
ZDF Digital Medienproduktion GmbH, als Konsortialführer von AI4MediaData, hat langjährige Erfahrung in der Entwicklung und Vermarktung von Medienprodukten. Mit etwa 350 Mitarbeiter*innen ist ZDF Digital ein mittelständisches Unternehmen, das bereits eine Spitzenposition im Bereich Medientechnologien erreicht hat. Durch die Nähe zur Senderfamilie des ZDF ist ZDF Digital in Partnerschaft mit bzw. Dienstleister für weitere Medienunternehmen. Neben der Konsortialführung übernahm ZDF Digital die verantwortliche Entwicklung von „Asset Match“ (gemeinsam mit Fraunhofer IAIS und Hochschule Mainz). ZDF Digital hat dabei den Matching-Algorithmus für die semantische Analyse entwickelt sowie neben der Architektur auch das Frontend für den Prototyp einer Mining Plattform anhand von Nutzeranforderungen gestaltet und umgesetzt.
DDG AG
Die DDG AG (ehem. DDG-Digital Devotion Group GmbH), ist als privatwirtschaftliches Unternehmen im Bereich Venture Building tätig. Sie verwandelt die Herausforderungen des Mittelstandes in neue digitale Geschäftsmodelle. Die Lösungen entstehen immer aus realen Herausforderungen und sind somit so nah am Markt wie nur irgendwie möglich. Innerhalb des einzigartigen Co-Innovations-Modells vereint die DDG AG das Wissen mittelständischer Unternehmen mit ihrem technologischen und kommerziellen Knowhow und verfolgt eine partnerschaftliche Zusammenarbeit. Gemeinsam mit mittelständischen Partnern gelingt so die Transformation traditioneller Geschäftsmodelle. DDG übernahm die Verantwortung zur Entwicklung von „Highlight Search“, gemeinsam mit der Hochschule Mainz.
Fraunhofer IAIS
Als Teil der größten Organisation für anwendungsorientierte Forschung in Europa ist das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS eines der führenden Wissenschaftsinstitute auf den Gebieten Künstliche Intelligenz (KI), Maschinelles Lernen und Big Data in Deutschland und Europa. Die Abteilung NetMedia des Fraunhofer IAIS brachte ihre langjährige Erfahrung in der Entwicklung KI-basierter Technologien zur Mediendatenanalyse und -erschließung in das Projekt ein. So integrierten die Expert:innen ihre etablierte Audio-Mining-Technologie in die Anwendung Asset Match. Im Rahmen von AI4MediaData hat das Fraunhofer IAIS zudem eine Reihe von weiteren Video-Mining-Services (z.B. Gesichtserkennung, Objekterkennung sowie Konzepterkennung) entwickelt, die ebenfalls sukzessive in den Asset Match-Prototyp eingebunden wurden.
Forschungsgruppe WIMM an der Hochschule Mainz
Die Hochschule Mainz, mit den drei Fachbereichen Gestaltung, Technik und Wirtschaft war in Form der Forschungsgruppe WIMM unter Leitung von Prof. Dr. Sven Pagel (Professor für Wirtschaftsinformatik und Medienmanagement, wimm.hs-mainz.de) am Forschungsvorhaben beteiligt. Zentrale Forschungsfelder sind Bewegtbildkommunikation, Nutzerforschung und Digitale Transformation. Die Forschungsgruppe WIMM war vor allem im Bereich UX und Anforderungsanalyse tätig, um die Benutzerfreundlichkeit der zu entwickelnden Lösung sicherzustellen. Diese Aufgabe hat WIMM schon in anderen Forschungsprojekten (EU EFRE, BMBF) unter Beweis gestellt und auch im Rahmen des Förderprojekts durch Anwendung von Data Thinking Workshops und User Tests zum Einsatz gebracht.
[1] https://www.fkt-online.de/fachartikel/artikeldetail/ai4mediadata-von-data-thinking-zu-datengestuetzten-entscheidungshilfen
[2] https://www.fkt-online.de/fachartikel/artikeldetail/asset-match
[3] https://www.fkt-online.de/fachartikel/artikeldetail/highlight-search