Beispiel für eine Videosynopse: 9 Stunden Aktivität zusammengefasst in einer 20-sekündigen simultanen Präsentation mehrerer Objekte und Aktivitäten, die zu unterschiedlichen Zeiten stattfanden.

Die Videosynopse ist eine Methode zur automatischen Erstellung einer kurzen, informativen Zusammenfassung eines Videos. Anders als bei der herkömmlichen Videozusammenfassung besteht die Synopse nicht nur aus Einzelbildern des Originalvideos. [ 1 ] Der Algorithmus erkennt, verfolgt und analysiert bewegte Objekte (auch Ereignisse genannt) in einer Datenbank mit Objekten und Aktivitäten. [ 2 ] Das Ergebnis ist ein neuer, kurzer Videoclip, in dem ursprünglich zu unterschiedlichen Zeiten aufgetretene Objekte und Aktivitäten gleichzeitig dargestellt werden, um Informationen in kürzester Zeit zu vermitteln. Die Videosynopse findet insbesondere in der Videoanalyse und Videoüberwachung Anwendung , wo die Sichtung und Analyse von aufgezeichnetem Videomaterial trotz technologischer Fortschritte und der zunehmenden Verbreitung von CCTV-Kameras (Closed-Circuit Television) [ 3 ] nach wie vor eine kosten-, arbeits- und zeitintensive Aufgabe ist.

Technologieübersicht

Die Videosynopse kombiniert eine visuelle Zusammenfassung gespeicherter Videos mit einem Indexierungsmechanismus.

Wenn eine Zusammenfassung benötigt wird, werden alle Objekte aus dem Zielzeitraum erfasst und zeitlich verschoben, um ein deutlich kürzeres Zusammenfassungsvideo zu erstellen, das die maximale Aktivität zeigt. Es wird in Echtzeit ein solcher Videoclip generiert, in dem Objekte und Aktivitäten, die ursprünglich zu unterschiedlichen Zeiten stattfanden, gleichzeitig angezeigt werden. [ 4 ]

Tubenpackung – Schematisches Beispiel: Erstellung der Videozusammenfassung durch Neuzeitberechnung der Raum-Zeit-Tuben ( X stellt die 2-dimensionale XY-Achse jedes Frames dar).

Der Prozess beginnt mit der Erkennung und Verfolgung relevanter Objekte. Jedes Objekt wird als Röhre im Raum-Zeit-Kontinuum aller Videobilder dargestellt. Objekte werden nahezu in Echtzeit erkannt und in einer Datenbank gespeichert.

Auf Anfrage zur Zusammenfassung eines Zeitraums werden alle Objekte aus dem gewünschten Zeitraum aus der Datenbank extrahiert und indexiert, um ein deutlich kürzeres Zusammenfassungsvideo zu erstellen, das die maximale Aktivität enthält.

Die Echtzeit-Rendering-Technologie generiert das zusammenfassende Video nach der Objekt-Neuberechnung. Dadurch kann der Endbenutzer die Objekt-/Ereignisdichte steuern.

Die Video-Synopsis-Technologie wurde von Prof. Shmuel Peleg [ 5 ] von der Hebräischen Universität Jerusalem entwickelt und wird von Milestone Systems [ 6 ] unter kommerzieller Lizenz weiterentwickelt . Ursprünglich erhielt BriefCam Ltd. eine Lizenz zur Nutzung der Technologie von Yissum , dem Inhaber der entsprechenden Patente. Im Mai 2018 wurde BriefCam vom japanischen Digitalbildverarbeitungskonzern Canon Inc. für geschätzte 90 Millionen US-Dollar übernommen. [ 7 ] Zu den Investoren des Unternehmens gehören Motorola Solutions Venture Capital, Aviv Venture Capital und OurCrowd . [ 8 ] Schließlich wurden BriefCam und die Video-Synopsis-Technologie im Jahr 2024 von Milestone Systems (einem weiteren eigenständigen Unternehmen im Besitz von Canon) übernommen . [ 9 ]

Ein weiteres Beispiel für eine Videosynopse

Jüngste Fortschritte

Jüngste Fortschritte im Bereich der Videosynopse haben Methoden hervorgebracht, die Schlüsselmomente (oder Einzelbilder) aus dem langen, ungeschnittenen Video extrahieren und als Kette von Schlüsselereignissen darstellen, welche das Video zusammenfassen. Dies ist nur eine von vielen Methoden, die in der aktuellen Literatur für diese Aufgabe verwendet werden. [ 10 ] In jüngster Zeit konzentrieren sich diese ereignisorientierten Methoden auf die Korrelation von Objekten in Einzelbildern, jedoch auf eine semantisch verwandtere Weise, die als handlungsorientierte Methode der Videosynopse bezeichnet wird. Diese Methoden haben sich in egozentrischen [ 11 ] Kontexten bewährt, in denen das Video im Wesentlichen die Perspektive einer einzelnen Person oder einer Gruppe von Personen widerspiegelt.

Einstufung

Video-Synopse-Techniken weisen eine Reihe standardisierter Eigenschaften auf, die sich wie folgt quantifizieren lassen: (a) Die Videosynopse sollte die maximale Aktivität bei minimaler Redundanz enthalten; (b) die chronologische Reihenfolge und räumliche Konsistenz der Objekte in Raum und Zeit müssen erhalten bleiben; (c) im resultierenden Synopse-Video dürfen keine Überschneidungen auftreten; und (d) das Synopse-Video muss flüssig sein und ein Betrachten ermöglichen, ohne dass der relevante Bereich verloren geht. [ 12 ]

  1. Keyframe-basierte Zusammenfassung
  2. Objektbasierte Zusammenfassung
  3. Handlungsorientierte Zusammenfassung
  4. Zusammenfassung basierend auf Kollisionsgraphen
  5. Ungewöhnliche inhaltsbasierte Zusammenfassung

Siehe auch

Referenzen

  1. ^ Mademlis, Ioannis; Tefas, Anastasios; Pitas, Ioannis (2018). „Ein Framework zum Lernen von Schlüsselbildern für Aktivitätsvideos mittels Keyframe-Extraktion“ (PDF) . Information Sciences . 432. Elsevier: 319–331 . doi : 10.1016/j.ins.2017.12.020 . Abgerufen am 4. Dezember 2022 .
  2. ^ Y. Pritch, S. Ratovitch, A. Hendel und S. Peleg, Clustered Synopsis of Surveillance Video , 6. IEEE Int. Conf. on Advanced Video and Signal Based Surveillance (AVSS'09), Genua, Italien, 2.-4. September 2009
  3. ^ Y. Pritch, A. Rav-Acha, A. Gutman und S. Peleg, Webcam Synopsis: Peeking Around the World , ICCV'07, Oktober 2007. 8 S.
  4. ^ Y. Pritch, A. Rav-Acha und S. Peleg, Nonchronological Video Synopsis and Indexing , IEEE Trans. PAMI, Vol 30, No 11, Nov. 2008, pp. 1971-1984.
  5. ^ A. Rav-Acha, Y. Pritch und S. Peleg, Making a Long Video Short: Dynamic Video Synopsis , CVPR'06, Juni 2006, S. 435-441.
  6. ^ „BriefCam“ . www.milestonesys.com . Abgerufen am 05.02.2026 .
  7. ^ Yablonko, Yasmin (9. Mai 2018). „Canon kauft israelischen Videolösungsanbieter BriefCam für 90 Millionen Dollar“ . Globes (auf Hebräisch) . Abgerufen am 5. Dezember 2018 .
  8. ^ CB Insights. „BriefCam Funding & Investors - CB Insights“ . www.cbinsights.com . Abgerufen am 05.12.2018 .
  9. ^ „Neuanfang für Milestone“ . www.milestonesys.com . Abgerufen am 05.02.2026 .
  10. ^ Muhammad Ajmal, Muhammad Husnain Ashraf, Muhammad Shakir, Yasir Abbas, Faiz Ali Shah, Videozusammenfassung: Techniken und Klassifizierung [1]
  11. ^ Zheng Lu, Kristen Grauman [2] Story-driven summarization for egocentric video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition - 2013.
  12. ^ Ingle, PY und Kim, YG, 2023. Video Synopsis Algorithms and Framework: A Survey and Comparative Evaluation. Systems, 11(2), S. 108.

Patente