Video content analysis or video content analytics (VCA), also known as video analysis or video analytics (VA), is the capability of automatically analyzing video to detect and determine temporal and spatial events.

This technical capability is used in a wide range of domains including entertainment,[1]video retrieval and video browsing,[2] health-care, retail, automotive, transport, home automation, flame and smoke detection, safety, and security.[3] The algorithms can be implemented as software on general-purpose machines, or as hardware in specialized video processing units.

Many different functionalities can be implemented in VCA. Video Motion Detection is one of the simpler forms where motion is detected with regard to a fixed background scene. More advanced functionalities include video tracking[4] and egomotion estimation.[5]

Based on the internal representation that VCA generates in the machine, it is possible to build other functionalities, such as video summarization,[6]identification, behavior analysis, or other forms of situation awareness.

VCA relies on good input video, so it is often combined with video enhancement technologies such as video denoising, image stabilization, unsharp masking, and super-resolution.

Functionalities

Several articles provide an overview of the modules involved in the development of video analytic applications.[7][8] This is a list of known functionalities and a short description.

FunctionDescription
Dynamic maskingBlocking a part of the video signal based on the signal itself, for example because of privacy concerns.
Flame and smoke detectionIP cameras with intelligent video surveillance technology can be used to detect flame and smoke in 15–20 seconds or even less because of the built-in DSP chip. The chip processes algorithms that analyzes the videos captured for flame and smoke characteristics such as color chrominance, flickering ratio, shape, pattern and moving direction.
Egomotion estimationDie Egomotion-Schätzung dient dazu, die Position einer Kamera durch Analyse ihres Ausgangssignals zu bestimmen.
BewegungserkennungDie Bewegungserkennung dient dazu, das Vorhandensein relevanter Bewegungen in der beobachteten Szene zu ermitteln.
FormerkennungDie Formerkennung dient dazu, Formen im Eingangsvideo zu erkennen, beispielsweise Kreise oder Quadrate. Diese Funktionalität wird typischerweise in fortgeschritteneren Funktionen wie der Objekterkennung eingesetzt.
ObjekterkennungDie Objekterkennung dient dazu, das Vorhandensein eines bestimmten Objekts oder einer bestimmten Entität, beispielsweise einer Person oder eines Autos, festzustellen. Weitere Beispiele sind die Brand- und Raucherkennung.
ErkennungGesichtserkennung und automatische Kennzeichenerkennung werden eingesetzt, um Personen oder Fahrzeuge zu erkennen und somit möglicherweise zu identifizieren.
StilerkennungDie Stilerkennung wird in Umgebungen eingesetzt, in denen das Videosignal erzeugt wurde , beispielsweise für Fernsehübertragungen. Die Stilerkennung erkennt den Stil des Produktionsprozesses. [ 9 ]
ManipulationserkennungDie Manipulationserkennung dient dazu festzustellen, ob die Kamera oder das Ausgangssignal manipuliert wurde.
VideoverfolgungDie Videoverfolgung dient dazu, die Position von Personen oder Objekten im Videosignal zu bestimmen, gegebenenfalls unter Berücksichtigung eines externen Referenzrasters.
VideofehleranalyseAnalyse von Manipulationen an Videoszenen mithilfe kostenloser Software. Video- Fehleranalyse (VELA).
Objekt-KosegmentierungGemeinsame Objekterkennung, Klassifizierung und Segmentierung von Zielen in einer oder mehreren zusammengehörigen Videosequenzen

Kommerzielle Anwendungen

VCA ist eine relativ neue Technologie, und zahlreiche Unternehmen brachten Mitte der 2000er-Jahre VCA-basierte Produkte auf den Markt. [ 10 ] [ 11 ] [ 12 ] Obwohl es viele Anwendungsbereiche gibt, unterscheiden sich die Erfolgsbilanzen verschiedener VCA-Lösungen erheblich. Funktionen wie Bewegungserkennung , Personenzählung und Schusswaffenerkennung sind als kommerzielle Standardprodukte verfügbar und gelten als zuverlässig (beispielsweise kann sogar Freeware wie dsprobotics Flowstone Bewegungs- und Farbanalysen durchführen). Als Reaktion auf die COVID-19-Pandemie haben viele Softwarehersteller neue Funktionen für die Analyse im Bereich der öffentlichen Gesundheit eingeführt, wie etwa die Erkennung von Gesichtsmasken oder die Überwachung der Einhaltung von Abstandsregeln . [ 13 ] [ 14 ] [ 15 ]

In vielen Bereichen wird VCA in CCTV- Systemen implementiert, entweder dezentral auf den Kameras (am Rand) oder zentral auf dedizierten Verarbeitungssystemen. Videoanalyse und Smart CCTV sind Handelsbezeichnungen für VCA im Sicherheitsbereich. In Großbritannien hat die BSIA einen Leitfaden zur Einführung von VCA im Sicherheitsbereich entwickelt. [ 16 ] Zusätzlich zur Videoanalyse und als deren Ergänzung kann auch Audioanalyse eingesetzt werden. [ 17 ]

Hersteller von Videomanagement-Software erweitern kontinuierlich das Angebot an Videoanalysemodulen. Dank neuer Technologien zur Verdächtigenverfolgung lassen sich alle Bewegungen einer Person problemlos nachverfolgen: Herkunft, Zeitpunkt, Ort und Art der Bewegung. Innerhalb eines Überwachungssystems kann die Indexierungstechnologie Personen mit ähnlichen Merkmalen identifizieren, die sich während eines bestimmten Zeitraums im Erfassungsbereich der Kameras befanden. Das System findet in der Regel zahlreiche Personen mit ähnlichen Merkmalen und stellt sie als Momentaufnahmen dar. Der Bediener muss lediglich die Bilder und Personen auswählen, die verfolgt werden sollen. Innerhalb weniger Minuten lassen sich alle Bewegungen einer bestimmten Person nachverfolgen und sogar ein detailliertes Video der Bewegungen erstellen.

Kinect ist ein Zusatzgerät für die Xbox 360 -Spielkonsole, das VCA für einen Teil der Benutzereingabe nutzt. [ 18 ]

Im Einzelhandel wird VCA (Variable Customer Activity) zur Verfolgung von Kunden im Geschäft eingesetzt. [ 19 ] Dadurch lässt sich eine Heatmap des Geschäfts erstellen, die für die Optimierung von Ladengestaltung und Marketingmaßnahmen hilfreich ist. Weitere Anwendungsbereiche sind die Messung der Verweildauer beim Betrachten von Produkten und die Erkennung von entnommenen oder zurückgelassenen Artikeln.

Die Qualität von VCA im kommerziellen Umfeld ist schwer zu bestimmen. Sie hängt von vielen Variablen ab, wie z. B. Anwendungsfall , Implementierung , Systemkonfiguration und Rechenplattform . Typische Methoden, um eine objektive Einschätzung der Qualität im kommerziellen Umfeld zu erhalten, umfassen unabhängige Benchmarks [ 20 ] und speziell dafür vorgesehene Testumgebungen.

VCA wurde für Crowd-Management- Zwecke eingesetzt, insbesondere in der O2 Arena in London und im London Eye .

Strafverfolgungsbehörden

Polizei und Kriminaltechniker analysieren Videoaufnahmen von Überwachungskameras, um Straftaten aufzuklären. Die Polizei nutzt Software wie Kinesense , die Videoinhaltsanalysen durchführt, um Schlüsselszenen im Video zu identifizieren und Verdächtige zu finden. Studien zeigen, dass in bis zu 75 % der Fälle Videoaufnahmen von Überwachungskameras eine Rolle spielen. Mithilfe von Videoinhaltsanalyse-Software durchsucht die Polizei lange Videos nach wichtigen Ereignissen. [ 21 ] [ 22 ]

Akademische Forschung

Die Videoinhaltsanalyse ist ein Teilgebiet der Computer Vision und damit der künstlichen Intelligenz . Zwei wichtige akademische Benchmark-Initiativen sind TRECVID [ 23 ] , das einen kleinen Teil des i-LIDS-Videomaterials verwendet, und die PETS Benchmark Data [ 24 ] . Sie konzentrieren sich auf Funktionalitäten wie Tracking, Erkennung von zurückgelassenem Gepäck und virtuelle Absperrungen. Benchmark-Videodatensätze wie UCF101 [ 25 ] ermöglichen die Erforschung von Aktionserkennung durch die Kombination von zeitlicher und räumlicher visueller Aufmerksamkeit mit Convolutional Neural Networks und Long Short-Term Memory . Videoanalysesoftware wird zudem mit Aufnahmen von Körperkameras und Dashcams kombiniert , um Aufnahmen für die Veröffentlichung leichter zu bearbeiten und Ereignisse und Personen in Videos zu identifizieren [ 26 ] .

Die EU finanziert ein FP7- Projekt namens P-REACT [ 27 ] , das die Videoinhaltsanalyse eingebetteter Systeme in Datenbanken der Polizei und der Verkehrssicherheit integrieren soll. [ 28 ]

Künstliche Intelligenz

Künstliche Intelligenz (KI) für Videoüberwachung nutzt Softwareprogramme , die Audio- und Bildmaterial von Überwachungskameras analysieren , um Personen, Fahrzeuge, Objekte und Ereignisse zu erkennen. Die Software von Sicherheitsdienstleistern definiert Sperrbereiche im Sichtfeld der Kamera (z. B. ein umzäuntes Gelände, einen Parkplatz, jedoch nicht den angrenzenden Gehweg oder die Straße) und programmiert die Überwachung zu bestimmten Tageszeiten (z. B. nach Geschäftsschluss) für das zu überwachende Objekt . Die KI löst eine Warnung aus, sobald sie einen unbefugten Zutritt zu dem festgelegten Bereich feststellt, der den Zutritt zu diesem Bereich zu dieser Tageszeit untersagt.

Siehe auch

Referenzen

  1. ^ KINECT ( Archiviert am 12. September 2010 in der Wayback Machine) , Zusatzgerät für die Xbox 360- Konsole
  2. ^ Dimitrova, Nevenka, et al. " Anwendungen der Videoinhaltsanalyse und des Video-Retrievals ." IEEE Multimedia 9.3 (2002): 42-55.
  3. ^ Zunahme der VCA-Nutzung in der britischen Sicherheitsbranche (Archiviert am 16.03.2014 im Internetarchiv BSIA-Bericht)
  4. ^ Cavaliere, Danilo, Vincenzo Loia und Sabrina Senatore. „ Auf dem Weg zu einem Ontologie-Designmuster für die UAV-Videoinhaltsanalyse .“ IEEE Access 7 (2019): 105342-105353.
  5. ^ Cavaliere, Danilo; Loia, Vincenzo; Saggese, Alessia; Senatore, Sabrina; Vento, Mario (15.08.2019). „Eine menschenähnliche Beschreibung von Szenenereignissen für eine adäquate UAV-basierte Videoinhaltsanalyse“ . Knowledge-Based Systems . 178 : 163–175 . doi : 10.1016/j.knosys.2019.04.026 . ISSN  0950-7051 . S2CID  155625544 .
  6. ^ Ma, Yu-Fei, et al. " Ein Benutzeraufmerksamkeitsmodell für die Videozusammenfassung ." Proceedings der zehnten ACM International Conference on Multimedia . 2002.
  7. ^ Nik Gagvani , Einführung in die Videoanalyse
  8. ^ Cheng Peng , Videoanalyse
  9. ^ Stilerkennung ( Archiviert am 03.03.2016 in der Wayback Machine) , Cees GM Snoek et al., Erkennung von TV-Nachrichtenmonologen durch Stilanalyse , ICME'04
  10. ^ Kwet, Michael (27.01.2020). „Der Aufstieg intelligenter Kameranetzwerke und warum wir sie verbieten sollten“ . The Intercept . Abgerufen am 19.10.2020 .
  11. ^ „Aimetis“ , Wikipedia , 28.01.2020 , abgerufen am 19.10.2020
  12. ^ „Infografik: Geschichte der Videoüberwachung“ . IFSEC Global | Nachrichten und Ressourcen zu Sicherheit und Brandschutz . 12.12.2013 . Abgerufen am 19.10.2020 .
  13. ^ „COVID-19 macht die Erkennung von Gesichtsmasken zu einem unverzichtbaren Bestandteil der Videoanalyse – asmag.com“ . www.asmag.com . Abgerufen am 06.10.2020 .
  14. ^ Looveren, Pieter van de. „Funktionalität jenseits der Sicherheit: Das Aufkommen von Kameras mit offener Plattform“ . www.securityinformed.com . Abgerufen am 06.10.2020 .
  15. ^"StackPath". www.securityinfowatch.com. 9 July 2020. Retrieved 2020-10-06.
  16. ^British Industry VCA GuideArchived 2018-05-17 at the Wayback Machine, 262 An Introduction to Video Content Analysis Industry Guide
  17. ^UK based startup that provides audio analytics into the CCTV industry
  18. ^"Project Natal 101". Microsoft. 2009-06-01. Archived from the original on 2012-01-21. Retrieved 2009-06-02.
  19. ^"Heat map Intelligent module". Archived from the original on 2017-07-30. Retrieved 2016-07-13.
  20. ^i-Lids, Benchmarking initiative by the UK Home Office
  21. ^"Northgate offers police forces improved CCTV analysis system". Archived from the original on 4 March 2016. Retrieved 29 Dec 2015.
  22. ^"Northgate teams with Dublin tech firm Kinesense to help police video analysis". Risk Manager Online. Retrieved 26 May 2014.
  23. ^TRECVID, Academic benchmark initiative by NIST
  24. ^PETS Benchmark DataArchived 2006-09-24 at the Wayback Machine, Performance Evaluation of Tracking and Surveillance (PETS) by University of Reading
  25. ^Center, UCF (2013-10-17). "UCF101 – Action Recognition Data Set". CRCV. Retrieved 2018-09-12.
  26. ^"Police Body Cameras Will Do More Than Just Record You | Fast Company | The Future Of Business". Fast Company. 2017-03-03. Retrieved 2017-03-08.
  27. ^P-REACT Project Website
  28. ^"Kinesense launches P-REACT, an FP7 project against Petty Crime". 7 April 2014. Retrieved 27 May 2014.