Die Erkennung kleiner Objekte ist ein Spezialfall der Objekterkennung , bei dem verschiedene Techniken eingesetzt werden, um kleine Objekte in digitalen Bildern und Videos zu erkennen. „Kleine Objekte“ sind Objekte mit einer geringen Pixelanzahl im Eingangsbild. In Bereichen wie der Luftbildanalyse stoßen moderne Objekterkennungstechniken aufgrund der geringen Größe der Objekte an ihre Grenzen.

Verwendung

Ein Beispiel für Objektverfolgung

Die Erkennung kleiner Objekte findet Anwendung in verschiedenen Bereichen wie Videoüberwachung ( Verkehrsvideoüberwachung, [ 1 ] [ 2 ] Suche nach kleinen Objekten , [ 3 ] [ 4 ] Anomalieerkennung , [ 5 ] maritime Überwachung , Drohnenvermessung , Verkehrsflussanalyse , [ 6 ] und Objektverfolgung .

Probleme mit kleinen Objekten

  • Moderne Objekterkennungsalgorithmen wie You Only Look Once [ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ] [ 13 ] nutzen häufig Faltungsschichten, um Merkmale zu lernen . Beim Durchlaufen der Faltungsschichten verringert sich die Größe eines Objekts. Dadurch verschwindet das kleine Objekt nach einigen Schichten und ist nicht mehr erkennbar.
  • Manchmal wird der Schatten eines Objekts als Teil des Objekts selbst erkannt. [ 14 ] Daher konzentriert sich die Begrenzungsbox tendenziell eher um den Schatten als um das Objekt selbst. Bei der Fahrzeugerkennung leidet die Erkennung von Fußgängern und Zweirädern darunter.
  • Drohnen werden heutzutage sehr häufig für Luftbildaufnahmen eingesetzt. [ 15 ] Sie sind mit Hardware ( Sensoren ) und Software ( Algorithmen ) ausgestattet, die ihnen helfen, während des Fluges eine stabile Position beizubehalten. Bei Wind führt die Drohne automatisch Feinkorrekturen durch, um ihre Position zu halten, wodurch sich die Ansicht in der Nähe des Bildrandes verändert. Es kann vorkommen, dass neue Objekte in der Nähe des Bildrandes erscheinen. Insgesamt beeinträchtigen diese Faktoren die Genauigkeit der Klassifizierung, Erkennung und letztendlich auch der Verfolgung.
Hier stammen beide Bilder aus demselben Video. Man sieht, wie der Schattenwurf von Objekten die Erkennungsgenauigkeit beeinflusst. Außerdem verändert die Eigenbewegung der Drohne die Szene im Randbereich (siehe Objekt „Auto“ unten links).
Schatten- und Drohnenbewegungseffekt

Methoden

Zur Erkennung kleiner Objekte stehen verschiedene Methoden [ 16 ] zur Verfügung, die sich in drei Kategorien einteilen lassen:

YOLOv5-Erkennungsergebnis
YOLOv5- und SAHI-Schnittstelle
YOLOv7-Erkennungsausgabe

Improvisation bestehender Techniken

Es gibt verschiedene Möglichkeiten, kleine Objekte mit den bestehenden Techniken zu erkennen. Einige davon werden im Folgenden aufgeführt:

Auswahl eines Datensatzes mit kleinen Objekten

Die Ausgabe des Modells für maschinelles Lernen hängt davon ab, wie gut es trainiert wurde [ 17 ] . Daher muss der Datensatz kleine Objekte enthalten, um diese zu erkennen. Moderne Detektoren wie YOLO verwenden Anker. Die neuesten Versionen von YOLO (ab YOLOv5 [ 18 ] ) nutzen einen Auto-Anchor-Algorithmus, um anhand der Objektgrößen im Datensatz geeignete Anker zu finden. Daher ist es unerlässlich, dass der Datensatz kleinere Objekte enthält.

Bei Bedarf durch Datenaugmentation weitere Daten generieren

Deep-Learning- Modelle verfügen über Milliarden von Neuronen, deren Gewichte sich nach dem Training auf bestimmte Werte einpendeln. Daher benötigen sie eine große Menge an quantitativen und qualitativen Daten für ein besseres Training. [ 19 ] Datenaugmentation ist eine nützliche Technik, um aus einem bestehenden Datensatz vielfältigere Daten zu generieren . [ 17 ]

Erhöhung der Bildaufnahmeauflösung und der Eingabeauflösung des Modells

Diese Methoden helfen dabei, mehr Merkmale von Objekten zu erfassen und letztendlich die besten Eigenschaften dieser Objekte zu erkennen. Beispielsweise weist ein Fahrradobjekt in einem Bild mit der Auflösung 1280 x 1280 Pixel mehr Merkmale auf als in einem Bild mit der Auflösung 640 x 640 Pixel.

Automatische Lernanker

Die Wahl der Ankergröße ist für die Erkennung kleiner Objekte von entscheidender Bedeutung. [ 20 ] Anstatt sie manuell auszuwählen, sollten Algorithmen verwendet werden, die sie anhand des Datensatzes bestimmen. YOLOv5 verwendet einen K-Means-Algorithmus zur Definition der Ankergröße.

Kachelansatz während des Trainings und der Inferenz

Moderne Objektdetektoren akzeptieren nur Bilder mit fester Größe und passen die Größe des Eingabebildes entsprechend an. Diese Anpassung kann kleine Objekte im Bild verzerren. Der Tiling-Ansatz [ 21 ] ist hilfreich, wenn ein Bild eine höhere Auflösung als die feste Eingabegröße des Modells aufweist. Anstatt das Bild zu skalieren, wird es in Kacheln zerlegt und anschließend für das Training verwendet. Derselbe Ansatz wird auch bei der Inferenz angewendet.

Feature Pyramid Network (FPN)

Ein Feature- Pyramidennetzwerk [ 22 ] kann verwendet werden , um Merkmale auf verschiedenen Skalen zu lernen, z. B. Twin Feature Pyramid Networks (TFPN) [ 23 ] oder Extended Feature Pyramid Network (EFPN) [ 24 ] . Feature-Pyramidennetzwerke helfen dabei, Merkmale kleiner Objekte trotz Faltungsschichten zu erhalten.

Zusatztechniken

Anstatt bestehende Methoden zu modifizieren, gibt es einige Zusatztechniken, die direkt auf bestehende Ansätze zur Erkennung kleiner Objekte aufgesetzt werden können. Eine dieser Techniken ist Slicing Aided Hyper Inference (SAHI) [ 25 ] . Das Bild wird in mehrere überlappende Bildausschnitte unterschiedlicher Größe unterteilt. Hyperparameter definieren deren Dimensionen. Anschließend werden die Bildausschnitte unter Beibehaltung des Seitenverhältnisses während des Feinabstimmens skaliert. Diese Bildausschnitte dienen dann dem Training des Modells.

Gut optimierte Verfahren zur Erkennung kleiner Objekte

Es stehen verschiedene Deep-Learning-Techniken zur Verfügung, die sich auf solche Objekterkennungsprobleme konzentrieren: z. B. Feature-Fused SSD, [ 26 ] YOLO-Z. [ 27 ] Diese Methoden beschäftigen sich mit der Frage, „wie man Merkmale kleiner Objekte erhält, während sie Faltungsnetzwerke durchlaufen“.

Weitere Anwendungen

Siehe auch

Referenzen

  1. ^ Saran KB; Sreelekha G (2015). „Verkehrsvideoüberwachung: Fahrzeugerkennung und -klassifizierung“. 2015 International Conference on Control Communication & Computing India (ICCC) . Trivandrum, Kerala, Indien: IEEE. S.  516–521 . doi : 10.1109/ICCC.2015.7432948 . ISBN 978-1-4673-7349-4S2CID  14779393 .​
  2. ^ Nemade, Bhushan (01.01.2016). „Automatische Verkehrsüberwachung mittels Video-Tracking“ . Procedia Computer Science . Proceedings of International Conference on Communication, Computing and Virtualization (ICCCV) 2016. 79 : 402–409 . doi : 10.1016/j.procs.2016.03.052 . ISSN 1877-0509 . 
  3. ^ Guo, Haiyun; Wang, Jinqiao; Xu, Min; Zha, Zheng-Jun; Lu, Hanqing (13.10.2015). „Lernen von Multi-View Deep Features für die Suche nach kleinen Objekten in Überwachungsszenarien“ . Proceedings der 23. ACM International Conference on Multimedia . MM '15. New York, NY, USA: Association for Computing Machinery. S.  859–862 . doi : 10.1145/2733373.2806349 . ISBN 978-1-4503-3459-4. S2CID  9041849 .
  4. Galiyawala , Hiren; Raval, Mehul S.; Patel, Meet (2022-05-20). „Personensuche in Überwachungsvideos mittels Attributerkennung“ . Journal of Ambient Intelligence and Humanized Computing . 15 : 291–303 . doi : 10.1007/s12652-022-03891-0 . ISSN 1868-5145 . S2CID 248951090 .  
  5. ^ Ingle, Palash Yuvraj; Kim, Young-Gab (19.05.2022). „Echtzeit-Erkennung anomaler Objekte für die Videoüberwachung in Smart Cities“ . Sensors . 22 (10): 3862. Bibcode : 2022Senso..22.3862I . doi : 10.3390 / s22103862 . ISSN 1424-8220 . PMC 9143895. PMID 35632270 .   
  6. ^ Tsuboi, Tsutomu; Yoshikawa, Noriaki (01.03.2020). „Verkehrsflussanalyse in Ahmedabad (Indien)“ . Fallstudien zur Verkehrspolitik . 8 (1): 215–228 . doi : 10.1016/j.cstp.2019.06.001 . ISSN 2213-624X . S2CID 195543435 .  
  7. ^ Redmon, Joseph; Divvala, Santosh; Girshick, Ross; Farhadi, Ali (2016-05-09). „You Only Look Once: Unified, Real-Time Object Detection“. arXiv : 1506.02640 [ cs.CV ].
  8. ^ Redmon, Joseph; Farhadi, Ali (2016-12-25). "YOLO9000: Besser, schneller, stärker". arXiv : 1612.08242 [ cs.CV ].
  9. ^ Redmon, Joseph; Farhadi, Ali (2018-04-08). "YOLOv3: Eine inkrementelle Verbesserung". arXiv : 1804.02767 [ cs.CV ].
  10. ^ Bochkovskiy, Alexey; Wang, Chien-Yao; Liao, Hong-Yuan Mark (2020-04-22). „YOLOv4: Optimale Geschwindigkeit und Genauigkeit der Objekterkennung“. arXiv : 2004.10934 [ cs.CV ].
  11. ^ Wang, Chien-Yao; Bochkovskiy, Alexey; Liao, Hong-Yuan Mark (2021-02-21). „Scaled-YOLOv4: Scaling Cross Stage Partial Network“. arXiv : 2011.08036 [ cs.CV ].
  12. ^ Li, Chuyi; Li, Lulu; Jiang, Hongliang; Weng, Kaiheng; Geng, Yifei; Li, Liang; Ke, Zaidan; Li, Qingyuan; Cheng, Meng; Nie, Weiqiang; Li, Yiduo; Zhang, Bo; Liang, Yufei; Zhou, Linyuan; Xu, Xiaoming (07.09.2022). „YOLOv6: Ein einstufiges Objekterkennungs-Framework für industrielle Anwendungen“. arXiv : 2209.02976 [ cs.CV ].
  13. ^ Wang, Chien-Yao; Bochkovskiy, Alexey; Liao, Hong-Yuan Mark (2022-07-06). „YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors“. arXiv : 2207.02696 [ cs.CV ].
  14. Zhang , Mingrui; Zhao, Wenbing; Li, Xiying; Wang, Dan (11.12.2020). „Schattenerkennung bewegter Objekte in Verkehrsüberwachungsvideos“. 2020 IEEE 9th Joint International Information Technology and Artificial Intelligence Conference (ITAIC) . Band 9. Chongqing, China: IEEE. S.  1983–1987 . doi : 10.1109/ITAIC49862.2020.9338958 . ISBN 978-1-7281-5244-8. S2CID  231824327 .
  15. ^ „Interaktiver Workshop: Wie Drohnen die Welt, in der wir leben, verändern“". 2016 Integrated Communications Navigation and Surveillance (ICNS) . Herndon, VA: IEEE. 2016. S.  1–17 . doi : 10.1109/ICNSURV.2016.7486437 . ISBN 978-1-5090-2149-9. S2CID  21388151 .
  16. ^ Nguyen, Nhat-Duy; Do, Tien; Ngo, Thanh Duc; Le, Duy-Dinh (2020). „Eine Evaluierung von Deep-Learning-Methoden zur Erkennung kleiner Objekte“ . Journal of Electrical and Computer Engineering . 2020 : 1–18 . doi : 10.1155/2020/3189691 .
  17. ^ a b Gong, Zhiqiang; Zhong, Ping; Hu, Weidong (2019). „Diversity in Machine Learning“ . IEEE Access . 7 : 64323–64350 . arXiv : 1807.01477 . Bibcode : 2019IEEEA...764323G . doi : 10.1109/ACCESS.2019.2917620 . ISSN 2169-3536 . S2CID 206491718 .  
  18. ^ Jocher, Glenn; Chaurasia, Ayush; Stoken, Alex; Borovec, Jirka; NanoCode012; Kwon, Yonghye; TaoXie; Michael, Kalen; Fang, Jiacong (17.08.2022). „ultralytics/yolov5: v6.2 – YOLOv5-Klassifikationsmodelle, Apple M1, Reproduzierbarkeit, ClearML- und Deci.ai-Integrationen“ . doi : 10.5281/zenodo.3908559 . Abgerufen am 14.09.2022 .{{cite journal}}: Zeitschrift zitieren erfordert |journal=( Hilfe )CS1 Wartung: Numerische Namen: Autorenliste ( Link )
  19. ^ „Größe und Qualität eines Datensatzes | Maschinelles Lernen“ . Google Developers . Abgerufen am 14.09.2022 .
  20. ^ Zhong, Yuanyi; Wang, Jianfeng; Peng, Jian; Zhang, Lei (26.01.2020). „Anchor-Box-Optimierung zur Objekterkennung“. arXiv : 1812.00469 [ cs.CV ].
  21. ^ Unel, F. Ozge; Ozkalayci, Burak O.; Cigla, Cevahir (2019). „The Power of Tiling for Small Object Detection“. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) . Long Beach, CA, USA: IEEE. S.  582–591 . doi : 10.1109/CVPRW.2019.00084 . ISBN 978-1-7281-2506-0. S2CID  198903617 .
  22. ^ Lin, Tsung-Yi; Dollár, Piotr; Girshick, Ross; He, Kaiming; Hariharan, Bharath; Belongie, Serge (2017-04-19). „Feature Pyramid Networks for Object Detection“. arXiv : 1612.03144 [ cs.CV ].
  23. ^ Liang, Yi; Changjian, Wang; Fangzhao, Li; Yuxing, Peng; Qin, Lv; Yuan, Yuan; Zhen, Huang (2019). „TFPN: Twin Feature Pyramid Networks for Object Detection“. 2019 IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI) . Portland, OR, USA: IEEE. S.  1702–1707 . doi : 10.1109/ICTAI.2019.00251 . ISBN 978-1-7281-3798-8. S2CID  211211764 .
  24. ^ Deng, Chunfang; Wang, Mengmeng; Liu, Liang; Liu, Yong (09.04.2020). „Erweitertes Feature-Pyramiden-Netzwerk zur Erkennung kleiner Objekte“. arXiv : 2003.07021 [ cs.CV ].
  25. ^ Akyon, Fatih Cagatay; Altinuc, Sinan Onur; Temizel, Alptekin (12.07.2022). „Slicing Aided Hyper Inference and Fine-Tuning for Small Object Detection“. 2022 IEEE International Conference on Image Processing (ICIP) . S.  966–970 . arXiv : 2202.06934 . doi : 10.1109 /ICIP46576.2022.9897990 . ISBN 978-1-6654-9620-9S2CID  246823962 .​
  26. ^ Cao, Guimei; Xie, Xuemei; Yang, Wenzhe; Liao, Quan; Shi, Guangming; Wu, Jinjian (10.04.2018). „Feature-fused SSD: Fast detection for small objects“ . In: Dong, Junyu; Yu, Hui (Hrsg.). Neunte Internationale Konferenz für Grafik- und Bildverarbeitung (ICGIP 2017) . Band 10615. SPIE. S.  381–388 . arXiv : 1709.05054 . Bibcode : 2018SPIE10615E..1EC . doi : 10.1117/12.2304811 . ISBN 9781510617414. S2CID  20592770 .
  27. ^ Benjumea, Aduen; Teeti, Izzeddin; Cuzzolin, Fabio; Bradley, Andrew (2021-12-23). ​​„YOLO-Z: Verbesserung der Erkennung kleiner Objekte in YOLOv5 für autonome Fahrzeuge“. arXiv : 2112.11798 [ cs.CV ].
  28. ^ Rajendran, Logesh; Shyam Shankaran, R (2021). „Big-Data-gestützte Echtzeit-Überwachung von Menschenmengen mittels künstlicher Intelligenz und Deep Learning“. 2021 IEEE International Conference on Big Data and Smart Computing ( BigComp ) . Jeju Island, Südkorea: IEEE. S.  129–132 . doi : 10.1109/BigComp51126.2021.00032 . ISBN 978-1-7281-8924-6S2CID  232236614 .​
  29. Sivachandiran , S.; Mohan, K. Jagan; Nazer, G. Mohammed (29.03.2022). „Deep Transfer Learning Enabled High-Density Crowd Detection and Classification using Aerial Images“. 6. Internationale Konferenz über Computermethoden und Kommunikation (ICCMC) 2022. Erode, Indien: IEEE. S.  1313–1317 . doi : 10.1109/ICCMC53470.2022.9753982 . ISBN 978-1-6654-1028-1S2CID  248131806 .​
  30. ^ Santhini, C.; Gomathi, V. (2018). „Analyse von Menschenmengen mithilfe von Deep-Learning-Netzwerken“. Internationale Konferenz 2018 zu aktuellen Trends in konvergierenden Technologien (ICCTCT) . S.  1–5 . doi : 10.1109/ICCTCT.2018.8550851 . ISBN 978-1-5386-3702-9. S2CID  54438440 .
  31. Sharath , SV; Biradar, Vidyadevi; Prajwal, MS; Ashwini, B. (19.11.2021). „Crowd Counting in High Dense Images using Deep Convolutional Neural Network“. 2021 IEEE International Conference on Distributed Computing, VLSI, Electrical Circuits and Robotics (DISCOVER) . Nitte, Indien: IEEE. S.  30–34 . doi : 10.1109/DISCOVER52564.2021.9663716 . ISBN 978-1-6654-1244-5S2CID  245707782 .​
  32. ^ Wang, Hongbo; Hou, Jiaying; Chen, Na (2019). „Eine Übersicht zur Fahrzeugwiedererkennung mittels Deep Learning“ . IEEE Access . 7 : 172443–172469 . Bibcode : 2019IEEEA...7q2443W . doi : 10.1109/ACCESS.2019.2956172 . ISSN 2169-3536 . S2CID 209319743 .  
  33. ^ Santhanam, Sanjay; B, Sudhir Sidhaarthan; Panigrahi, Sai Sudha; Kashyap, Suryakant Kumar; Duriseti, Bhargav Krishna (26.11.2021). „Tiererkennung für Verkehrssicherheit mittels Deep Learning“. 2021 Internationale Konferenz über Computational Intelligence und Computeranwendungen (ICCICA) . Nagpur, Indien: IEEE. S.  1–5 . doi : 10.1109/ICCICA52458.2021.9697287 . ISBN 978-1-6654-2040-2S2CID  246663727 .​
  34. ^ Li, Nopparut; Kusakunniran, Worapan; Hotta, Seiji (2020). „Erkennung von Tieren hinter Käfigen mithilfe eines Convolutional Neural Network“. 17. Internationale Konferenz für Elektrotechnik/Elektronik, Computer, Telekommunikation und Informationstechnologie (ECTI-CON) 2020. Phuket, Thailand: IEEE. S.  242–245 . doi : 10.1109/ECTI-CON49241.2020.9158137 . ISBN 978-1-7281-6486-1S2CID  221086279 .​
  35. ^ Oishi, Yu; Matsunaga, Tsuneo (2010). „Automatische Erkennung sich bewegender Wildtiere in luftgestützten Fernerkundungsbildern“. 2010 IEEE International Geoscience and Remote Sensing Symposium . S.  517–519 . doi : 10.1109/IGARSS.2010.5654227 . ISBN 978-1-4244-9565-8. S2CID  16812504 .
  36. ^ Ramanan , D.; Forsyth, D. A.; Barnard, K. (2006). „Erstellung von Tiermodellen aus Videomaterial“. IEEE Transactions on Pattern Analysis and Machine Intelligence . 28 (8): 1319–1334 . Bibcode : 2006ITPAM..28.1319R . doi : 10.1109/TPAMI.2006.155 . ISSN 0162-8828 . PMID 16886866. S2CID 1699015 .   
  37. ^ Cui, Suxia; Zhou, Yu; Wang, Yonghui; Zhai, Lujun (2020). „Fischerkennung mit Deep Learning“ . Angewandte Computational Intelligence und Soft Computing . 2020 : 1–13 . doi : 10.1155/2020/3738108 .
  • VisDrone- Datensatz des AISKYEYE-Teams am Labor für Maschinelles Lernen und Data Mining der Universität Tianjin, China.