Videoframes der Aktionskategorie „ Barren“ im UCF-101-Datensatz [ 1 ] : (a) Die vier Frames mit der höchsten Gewichtung der zeitlichen Videoaufmerksamkeit , in denen der Athlet am Barren turnt; (b) die vier Frames mit der niedrigsten Gewichtung der zeitlichen Videoaufmerksamkeit , in denen der Athlet am Boden steht. Alle Gewichtungen wurden mit dem ATW-CNN-Algorithmus vorhergesagt. [ 2 ] Die hoch gewichteten Videoframes erfassen im Allgemeinen die markantesten Bewegungen der jeweiligen Aktionskategorie.

Visuelle zeitliche Aufmerksamkeit ist ein Spezialfall der visuellen Aufmerksamkeit , bei dem die Aufmerksamkeit auf einen bestimmten Zeitpunkt gerichtet wird. Ähnlich wie ihr räumliches Pendant , die visuelle räumliche Aufmerksamkeit , werden diese Aufmerksamkeitsmodule in der Videoanalyse und Computer Vision häufig eingesetzt, um die Leistung von Deep-Learning -Modellen zu verbessern und für den Menschen verständliche Erklärungen zu ermöglichen [ 3 ] .

Da der visuelle räumliche Aufmerksamkeitsmechanismus es menschlichen und/oder computergestützten Bildverarbeitungssystemen ermöglicht , sich stärker auf semantisch relevantere Bereiche im Raum zu konzentrieren, ermöglichen visuelle zeitliche Aufmerksamkeitsmodule maschinellen Lernalgorithmen , kritische Videoframes in Videoanalyseaufgaben wie der Erkennung menschlicher Handlungen stärker zu gewichten . In Systemen auf Basis von Convolutional Neural Networks ( CNNs) wird die durch den Aufmerksamkeitsmechanismus eingeführte Priorisierung üblicherweise als lineare Gewichtungsschicht implementiert, deren Parameter durch gelabelte Trainingsdaten bestimmt werden. [ 3 ]

Anwendung in der Praxis Erkennung

ATW-CNN-Architektur. [ 4 ] Drei CNN-Stränge werden verwendet, um räumliche RGB-Bilder, zeitliche optische Flussbilder bzw. zeitlich verzerrte optische Flussbilder zu verarbeiten. Ein Aufmerksamkeitsmodell wird eingesetzt, um den einzelnen Bildausschnitten jedes Strangs/jeder Modalität zeitliche Gewichte zuzuweisen. Die Vorhersagen der drei Stränge/Modalitäten werden mittels gewichteter Summe fusioniert.

Aktuelle Videosegmentierungsalgorithmen nutzen häufig sowohl räumliche als auch zeitliche Aufmerksamkeitsmechanismen. [ 2 ] [ 4 ] Die Forschung im Bereich der Erkennung menschlicher Handlungen hat sich seit der Einführung leistungsstarker Werkzeuge wie Convolutional Neural Networks (CNNs) deutlich beschleunigt . Effektive Methoden zur Integration zeitlicher Informationen in CNNs werden jedoch weiterhin intensiv erforscht. Inspiriert von den populären rekurrenten Aufmerksamkeitsmodellen in der Verarbeitung natürlicher Sprache wird das Attention-aware Temporal Weighted CNN (ATW CNN) [ 4 ] für Videos vorgeschlagen . Dieses bettet ein visuelles Aufmerksamkeitsmodell in ein zeitlich gewichtetes Multi-Stream-CNN ein. Das Aufmerksamkeitsmodell wird als zeitliche Gewichtung implementiert und verbessert die Erkennungsleistung von Videodarstellungen effektiv. Darüber hinaus ist jeder Stream im vorgeschlagenen ATW-CNN-Framework end-to-end trainierbar, wobei sowohl Netzwerkparameter als auch zeitliche Gewichte mittels stochastischem Gradientenabstieg (SGD) mit Backpropagation optimiert werden . Experimentelle Ergebnisse zeigen, dass der ATW CNN-Aufmerksamkeitsmechanismus wesentlich zu den Leistungssteigerungen bei den differenzierteren Ausschnitten beiträgt, indem er sich auf relevantere Videosegmente konzentriert.

Literatur

  • Seibold VC, Balke J und Rolke B (2023): Zeitliche Aufmerksamkeit . Front. Cognit. 2:1168320. doi: 10.3389/fcogn.2023.1168320.

Siehe auch

Referenzen

  1. ^ UCF Center (17.10.2013). „UCF101 – Datensatz zur Aktionserkennung“ . CRCV . Abgerufen am 12.09.2018 .
  2. ^ a b Zang, Jinliang; Wang, Le; Liu, Ziyi; Zhang, Qilin; Hua, Gang; Zheng, Nanning (2018). „Attention-Based Temporal Weighted Convolutional Neural Network for Action Recognition“. IFIP Advances in Information and Communication Technology . Cham: Springer International Publishing. S.  97–108 . arXiv : 1803.07179 . doi : 10.1007/978-3-319-92007-8_9 . ISBN 978-3-319-92006-1ISSN  1868-4238 . S2CID  4058889 .​
  3. ^ a b „NIPS 2017“ . Interpretable ML Symposium . 2017-10-20 . Abgerufen am 12.09.2018 .
  4. ^ a b c Wang, Le; Zang, Jinliang; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (21.06.2018). „Action Recognition by an Attention-Aware Temporal Weighted Convolutional Neural Network“ (PDF) . Sensors . 18 (7). MDPI AG: 1979. Bibcode : 2018Senso..18.1979W . doi : 10.3390 / s18071979 . ISSN 1424-8220 . PMC 6069475. PMID 29933555 .   Das Material wurde aus dieser Quelle kopiert, die unter einer Creative Commons Attribution 4.0 International License verfügbar ist .