OpenVINO ist ein von Intel entwickeltes Open-Source-Software-Toolkit zur Optimierung und Bereitstellung von Deep-Learning- Modellen. Es unterstützt verschiedene gängige Modellformate [ 2 ] und -kategorien, wie z. B. große Sprachmodelle , Computer Vision und generative KI .
OpenVINO ist für Intel-Hardware optimiert, bietet aber auch Unterstützung für ARM/ARM64 -Prozessoren. [ 2 ] Es findet breite Anwendung in Treibern für die KI-basierte Klangverarbeitung in Verbindung mit Intels Gaussian & Neural Accelerator (GNA).
Es basiert auf C++ und erweitert die API-Unterstützung für C und Python sowie für Node.js (in der frühen Vorschauphase).
OpenVINO ist plattformübergreifend und kann unter der Apache-Lizenz 2.0 kostenlos verwendet werden. [ 3 ]
Workflow
Die einfachste Verwendung von OpenVINO besteht darin, ein Modell zu beziehen und es unverändert auszuführen. Für optimale Ergebnisse wird jedoch ein umfassenderer Workflow empfohlen: [ 4 ]
- Ein Modell in einem der unterstützten Frameworks abrufen,
- Konvertiere das Modell mithilfe des OpenVINO Converter-Tools in OpenVINO IR.
- Optimieren Sie das Modell mithilfe der vom NNCF von OpenVINO bereitgestellten Optionen während des Trainings oder nach dem Training. [ 5 ]
- Die Inferenz wird mithilfe der OpenVINO Runtime durch Angabe eines von mehreren Inferenzmodi ausgeführt.
OpenVINO-Modellformat
OpenVINO IR [ 6 ] ist das Standardformat für die Inferenz. Es wird als Satz zweier Dateien gespeichert: * .bin und * .xml . Diese enthalten die Gewichte bzw. die Topologie. Das Format wird durch Konvertierung eines Modells aus einem der unterstützten Frameworks mithilfe der Anwendungs-API oder eines speziellen Konverters erstellt.
Modelle der unterstützten Formate können auch direkt für die Inferenz verwendet werden, ohne vorherige Konvertierung in OpenVINO IR. Dieser Ansatz ist zwar bequemer, bietet aber weniger Optimierungsmöglichkeiten und eine geringere Leistung, da die Konvertierung automatisch vor der Inferenz erfolgt. Einige vorkonvertierte Modelle finden sich im Hugging Face- Repository. [ 7 ]
Die unterstützten Modellformate sind: [ 8 ]
- PyTorch
- TensorFlow
- TensorFlow Lite
- ONNX (einschließlich Formate, die in ONNX serialisiert werden können)
- PaddelPaddel
- JAX/Flax
Betriebssystemunterstützung
OpenVINO läuft unter Windows , Linux und MacOS . [ 9 ]
Siehe auch
Referenzen
- ^ "2026.1.0" . 8. April 2026. Abgerufen am 9. April 2026 .
- ^ a b „OpenVINO-Kompatibilität und -Unterstützung“ . OpenVINO-Dokumentation . 24. Januar 2024.
- ^ "Lizenz" . OpenVINO-Repository . 16. Oktober 2018.
- ^ „OpenVINO Workflow“ . OpenVINO-Dokumentation . 25. April 2024.
- ^ "openvinotoolkit/nncf" . OpenVINO™ Toolkit . Abgerufen am 8. April 2026 .
- ^ "OpenVINO IR" . www.docs.openvino.ai . 2. Februar 2024.
- ^ "Hugging Face OpenVINO Space" . Hugging Face .
- ^ „OpenVINO-Modellvorbereitung“ . OpenVINO-Dokumentation . 24. Januar 2024.
- ^ „Systemvoraussetzungen“ . OpenVINO-Dokumentation . Februar 2024.
- Agrawal, Vasu (2019). Ground Up Design of a Multi-modal Object Detection System (PDF) (MSc). Carnegie Mellon University, Pittsburgh, PA. Archiviert (PDF) vom Original am 26. Januar 2020.
- Driaba, Alexander; Gordeev, Aleksei; Klyachin, Vladimir (2019). „Erkennung verschiedener Objekte aus einer bestimmten Kategorie in Echtzeit mittels tiefer neuronaler Faltungsnetze“ (PDF) . Tagungsband des YSIP-3-Workshops . Institut für Mathematik und Informationstechnologien der Staatlichen Universität Wolgograd. Archiviert (PDF) vom Original am 15. Februar 2026. Abgerufen am 9. April 2026 .
- Nanjappa, Ashwin (31. Mai 2019). Caffe2 Quick Start Guide: Modulares und skalierbares Deep Learning leicht gemacht . Packt. S. 91–98 . ISBN 978-1789137750Die
