Tensor (maschinelles Lernen)

Im maschinellen Lernen bezeichnet der Begriff Tensor umgangssprachlich zwei unterschiedliche Konzepte: (i) eine Methode zur Datenorganisation und (ii) eine multilineare ( Tensor- )Transformation. Daten können in einem mehrdimensionalen Array ( M -dimensionales Array), umgangssprachlich als „Datentensor“ bezeichnet, organisiert werden. Mathematisch gesehen ist ein Tensor jedoch eine multilineare Abbildung einer Menge von Definitionsvektorräumen auf einen Bildvektorraum. Beobachtungen wie Bilder, Filme, Lautstärken, Töne und Beziehungen zwischen Wörtern und Konzepten, die in einem M -dimensionalen Array („Datentensor“) gespeichert sind, können entweder mit künstlichen neuronalen Netzen oder mit Tensormethoden analysiert werden . ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]}

Die Tensorzerlegung zerlegt Datentensoren in kleinere Tensoren. ^{[ 1 ] [ 6 ]} Operationen auf Datentensoren lassen sich durch Matrixmultiplikation und das Kronecker-Produkt ausdrücken . ^{[ 7 ]} Die Berechnung von Gradienten, ein entscheidender Aspekt der Backpropagation , kann mithilfe von Softwarebibliotheken wie PyTorch und TensorFlow durchgeführt werden . ^{[ 8 ] [ 9 ]}

Berechnungen werden häufig auf Grafikprozessoren (GPUs) mithilfe von CUDA und auf dedizierter Hardware wie Googles Tensor Processing Unit oder Nvidias Tensor Core durchgeführt . Diese Entwicklungen haben neuronale Netzwerkarchitekturen erheblich beschleunigt und die Größe und Komplexität der trainierbaren Modelle erhöht.

Ein Tensor ist per Definition eine multilineare Abbildung . In der Mathematik kann er eine multilineare Beziehung zwischen Mengen algebraischer Objekte ausdrücken. In der Physik sind Tensorfelder , die als Tensoren an jedem Punkt im Raum betrachtet werden, nützlich, um mechanische Phänomene wie Spannung oder Elastizität zu beschreiben . Im maschinellen Lernen hängt die genaue Verwendung von Tensoren vom gewählten statistischen Ansatz ab.

Im Jahr 2001 wurden Tensormethoden in der Signalverarbeitung und Statistik eingesetzt. Pierre Comon beschreibt die frühe Anwendung von Tensormethoden in der Telekommunikation, der Funküberwachung, der Chemometrie und der Sensorverarbeitung. Lineare Tensorrangmethoden (wie Parafac/CANDECOMP) analysierten M-Wege-Arrays („Datentensoren“), die aus Statistiken höherer Ordnung bestanden und in Blindquellentrennungsproblemen zur Berechnung eines linearen Datenmodells verwendet wurden. Er wies auf einige frühe Einschränkungen bei der Bestimmung des Tensorrangs und der effizienten Tensorrangzerlegung hin. ^{[ 10 ]}

Anfang der 2000er Jahre fanden multilineare Tensormethoden ^{[ 1 ] [ 11 ]} Anwendung in Computer Vision , Computergrafik und maschinellem Lernen. Zu den Arbeiten von Vasilescu und Terzopoulos zählen beispielsweise Human Motion Signatures ^{[ 12 ] [ 13 ]} , TensorFaces ^{[ 14 ] [ 15 ]} , TensorTextures ^{[ 16 ]} und Multilinear Projection ^{[ 17 ] [ 18 ]} . Die multilineare Algebra , die Algebra der Tensoren höherer Ordnung, bietet einen geeigneten und transparenten Rahmen zur Analyse der Multifaktorstruktur eines Ensembles von Beobachtungen und zur Lösung des schwierigen Problems, die Kausalfaktoren anhand von Statistiken zweiter ^{[ 14 ]} oder höherer Ordnung zu entwirren, die mit jedem Kausalfaktor assoziiert sind ^{[ 15 ] .}

Die Tensor -Faktorenanalyse (multilineare Faktorenanalyse) entwirrt und reduziert den Einfluss verschiedener Kausalfaktoren durch multilineares Subspace-Lernen. ^{[ 19 ]} Bei der Behandlung eines Bildes oder Videos als 2- oder 3-Wege-Array, d. h. als „Datenmatrix/Tensor“, reduzieren Tensormethoden räumliche oder zeitliche Redundanzen, wie Wang und Ahuja gezeigt haben. ^{[ 20 ]}

Yoshua Bengio ^{[ 21 , 22 ] ,} Geoff Hinton ^{[ 23 , 24 ]} und ihre Mitarbeiter diskutieren kurz den Zusammenhang zwischen tiefen neuronalen Netzen und Tensorfaktoranalyse ^{[ 14 , 15 ], der} über die Verwendung von M-dimensionalen Arrays („Datentensoren“) als Eingaben hinausgeht. Eine der ersten Anwendungen von Tensoren für neuronale Netze fand sich in ^der Verarbeitung natürlicher Sprache . Ein einzelnes Wort kann mittels Word2vec ^{[ 5 ]} als Vektor dargestellt werden . Somit lässt sich eine Beziehung zwischen zwei Wörtern in einer Matrix kodieren. Für komplexere Beziehungen wie Subjekt-Objekt-Verb ist jedoch der Aufbau höherdimensionaler Netze erforderlich. Im Jahr 2009 führte Sutskever die Bayes’sche Cluster-Tensorfaktorisierung ein, um relationale Konzepte zu modellieren und gleichzeitig den Parameterraum zu reduzieren ^{[ 25 ]} . Von 2014 bis 2015 wurden Tensormethoden in Convolutional Neural Networks (CNNs) immer häufiger eingesetzt. Tensormethoden organisieren die Gewichte neuronaler Netze in einem „Datentensor“, analysieren und reduzieren deren Anzahl. ^{[ 26 ] [ 27 ]} Lebedev et al. beschleunigten CNN-Netze für die Zeichenklassifizierung (die Erkennung von Buchstaben und Ziffern in Bildern) mithilfe von 4D-Kerneltensoren. ^{[ 28 ]}

Sei ein Körper (wie die reellen oder die komplexen Zahlen ). Ein Tensor ist eine multilineare Transformation von einer Menge von Definitionsvektorräumen in einen Bildvektorraum: ${\displaystyle \mathbb {F} }$${\displaystyle \mathbb {R} }$${\displaystyle \mathbb {C} }$${\displaystyle {\mathcal {T}}\in {\mathbb {F} }^{I_{1}\times I_{2}\times \ldots \times I_{C}}}$

${\displaystyle {\mathcal {T}}:\{{\mathbb {F} }^{I_{1}}\times {\mathbb {F} }^{I_{2}}\times \ldots {\mathbb {F} }^{I_{C}}\}\mapsto {\mathbb {F} }^{I_{0}}}$

Hierbei sind und positive ganze Zahlen, und ist die Anzahl der Modi eines Tensors (auch bekannt als die Anzahl der Möglichkeiten eines mehrdimensionalen Arrays). Die Dimensionalität des Modus ist , für . ^{[ 14 ] [ 15 ] [ 29 ] [ 5 ]}${\displaystyle C}$${\displaystyle I_{0},I_{1},\ldots ,I_{C}}$${\displaystyle (C+1)}$${\displaystyle c}$${\displaystyle I_{c}}$${\displaystyle 0\leq c\leq C}$

In der Statistik und im maschinellen Lernen wird ein Bild vektorisiert, wenn es als einzelne Beobachtung betrachtet wird. Eine Sammlung vektorisierter Bilder wird als „Datentensor“ organisiert. Beispielsweise kann eine Menge von Gesichtsbildern, deren Pixel durch mehrere Einflussfaktoren wie Gesichtsgeometrie , Mimik , Beleuchtung und Betrachtungswinkel bestimmt werden, in einem Datentensor (d. h. einem mehrdimensionalen Array) organisiert werden. Dabei repräsentiert die Gesamtzahl der Gesichtsgeometrien, die Gesamtzahl der Mimiken, die Gesamtzahl der Beleuchtungswinkel und die Gesamtzahl der Betrachtungswinkel. Tensorfaktorisierungsverfahren wie TensorFaces und die multilineare (Tensor-)Unabhängige-Komponenten-Analyse (ICA) faktorisieren den Datentensor in eine Menge von Vektorräumen, die die Repräsentationen der Einflussfaktoren aufspannen. Ein Bild ist dabei das Ergebnis einer Tensortransformation, die eine Menge von Repräsentationen der Einflussfaktoren auf den Pixelraum abbildet. ${\displaystyle \{{\mathbb {d} }_{i_{p},i_{e},i_{l},i_{v}}\in {\mathbb {R} }^{I_{X}}\}}$${\displaystyle I_{X}}$${\displaystyle i_{p}(1\leq i_{p}\leq I_{P})}$${\displaystyle i_{e}(1\leq i_{e}\leq I_{E})}$${\displaystyle i_{l}(1\leq i_{l}\leq I_{L})}$${\displaystyle i_{v}(1\leq i_{v}\leq I_{V})}$${\displaystyle {\mathcal {D}}\in {\mathbb {R} }^{I_{X}\times I_{P}\times I_{E}\times I_{L}\times V}}$${\displaystyle I_{P}}$${\displaystyle I_{E}}$${\displaystyle I_{L}}$${\displaystyle I_{V}}$${\displaystyle {\mathcal {T}}}$

Ein weiterer Ansatz zur Verwendung von Tensoren im maschinellen Lernen besteht darin, verschiedene Datentypen direkt einzubetten. Beispielsweise wird ein Graustufenbild üblicherweise als diskretes 2-Wege-Array mit der Dimension dargestellt, wobei n die Anzahl der Zeilen und n die Anzahl der Spalten ist. Wird ein Bild als 2-Wege-Array oder Tensor zweiter Ordnung (d. h. als Sammlung von Spalten-/Zeilenbeobachtungen) behandelt, berechnen Tensorfaktorisierungsverfahren den Spaltenraum des Bildes, den Zeilenraum des Bildes sowie die normalisierten PCA- oder ICA-Koeffizienten. ${\displaystyle {\mathbf {D} }\in {\mathbb {R} }^{I_{RX}\times I_{CX}}}$${\displaystyle I_{RX}\times I_{CX}}$${\displaystyle I_{RX}}$${\displaystyle I_{CX}}$

In ähnlicher Weise kann ein Farbbild mit RGB-Kanälen als Datentensor dritter Ordnung oder als 3-Wege-Array betrachtet werden. ${\displaystyle {\mathcal {D}}\in \mathbb {R} ^{N\times M\times 3}.}$

In der Verarbeitung natürlicher Sprache kann ein Wort mithilfe des Word2vec- Algorithmus als Vektor ausgedrückt werden . Dadurch wird es zu einem Modus-1-Tensor. ${\displaystyle v}$${\displaystyle v}$

${\displaystyle v\mapsto {\mathcal {A}}\in \mathbb {R} ^{N}.}$

Die Einbettung der Subjekt-Objekt-Verb-Semantik erfordert die Einbettung von Beziehungen zwischen den drei Wörtern. Da ein Wort selbst ein Vektor ist, kann die Subjekt-Objekt-Verb-Semantik mithilfe von Modus-3-Tensoren ausgedrückt werden.

${\displaystyle v_{a}\times v_{b}\times v_{c}\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times N\times N}.}$

In der Praxis befasst sich der Entwickler neuronaler Netze hauptsächlich mit der Spezifikation von Einbettungen, der Verbindung von Tensor-Schichten und den darauf ausgeführten Operationen im Netzwerk. Moderne Frameworks für maschinelles Lernen übernehmen die Optimierung, die Tensorfaktorisierung und die Rückpropagation automatisch.

Tensoren können als Einheitswerte von neuronalen Netzen verwendet werden, die das Konzept von Skalar-, Vektor- und Matrixwerten auf mehrere Dimensionen erweitern.

Der Ausgabewert einer einzelnen Schichteinheit ist das Summenprodukt ihrer Eingabeeinheiten und der durch die Aktivierungsfunktion gefilterten Verbindungsgewichte : ${\displaystyle y_{m}}$${\displaystyle f}$

${\displaystyle y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right),}$

Wo

${\displaystyle y_{m}\in \mathbb {R} .}$

Wenn jedes Ausgabeelement ein Skalar ist, dann haben wir die klassische Definition eines künstlichen neuronalen Netzes . Indem jede Einheitskomponente durch einen Tensor ersetzt wird, ist das Netz in der Lage, höherdimensionale Daten wie Bilder oder Videos darzustellen: ${\displaystyle y_{m}}$

${\displaystyle y_{m}\in \mathbb {R} ^{I_{0}\times I_{1}\times ..\times I_{C}}.}$

Die Verwendung von Tensoren anstelle von Einheitswerten ist in Convolutional Neural Networks (CNNs) üblich , wo jede Einheit ein Bild sein kann, das durch mehrere Schichten verarbeitet wird. Durch die Einbettung der Daten in Tensoren ermöglichen solche Netzwerkstrukturen das Lernen komplexer Datentypen.

Tensoren können auch zur Berechnung der Schichten eines vollständig verbundenen neuronalen Netzes verwendet werden, wobei der Tensor auf die gesamte Schicht anstatt auf einzelne Einheitswerte angewendet wird.

Der Ausgabewert einer einzelnen Schichteinheit ist das Summenprodukt ihrer Eingabeeinheiten und der durch die Aktivierungsfunktion gefilterten Verbindungsgewichte : ${\displaystyle y_{m}}$${\displaystyle f}$

${\displaystyle y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right).}$

Die Vektoren der Ausgabewerte lassen sich als Modus-1-Tensoren ausdrücken, während die verborgenen Gewichte als Modus-2-Tensor dargestellt werden können. In diesem Beispiel sind die Einheitswerte Skalare, während der Tensor die Dimensionen der Netzwerkschichten annimmt. ${\displaystyle x}$${\displaystyle y}$

${\displaystyle x_{n}\mapsto {\mathcal {X}}\in \mathbb {R} ^{1\times N},}$

${\displaystyle y_{n}\mapsto {\mathcal {Y}}\in \mathbb {R} ^{M\times 1},}$

${\displaystyle u_{n}\mapsto {\mathcal {U}}\in \mathbb {R} ^{N\times M}.}$

In dieser Notation können die Ausgabewerte als Tensorprodukt der Eingabe- und Gewichtstensoren berechnet werden:

${\displaystyle {\mathcal {Y}}=f({\mathcal {X}}{\mathcal {U}}).}$

Dabei wird das Summenprodukt als Tensormultiplikation berechnet (ähnlich der Matrixmultiplikation).

Diese Formulierung von Tensoren ermöglicht die effiziente Berechnung der gesamten Schicht eines vollständig verbundenen Netzwerks, indem die Einheiten und Gewichte auf Tensoren abgebildet werden.

Eine alternative Formulierung neuronaler Netze ermöglicht es, die Faltungsschichten eines neuronalen Netzes mithilfe von Tensoren darzustellen. Eine Faltungsschicht erhält mehrere Eingänge, die jeweils eine räumliche Struktur wie ein Bild oder ein Volumen darstellen. Die Eingänge werden durch Filterung gefaltet , bevor sie an die nächste Schicht weitergeleitet werden. Ein typisches Anwendungsgebiet ist die Merkmalserkennung oder -isolierung in der Bilderkennung.

Die Faltung wird häufig als Multiplikation eines Eingangssignals mit einem Filterkern berechnet . In zwei Dimensionen lautet die diskrete, endliche Form: ${\displaystyle g}$${\displaystyle f}$

${\displaystyle (f*g)_{x,y}=\sum _{j=-w}^{w}\sum _{k=-w}^{w}f_{j,k}g_{x+j,y+k},}$

Wo liegt die Breite des Kernels? ${\displaystyle w}$

Diese Definition lässt sich als Matrix-Vektor-Produkt mithilfe von Tensoren umformulieren, die den Kern, die Daten und die inverse Transformation des Kerns ausdrücken. ^{[ 30 ]}

${\displaystyle {\mathcal {Y}}={\mathcal {A}}[(Cg)\odot (Bd)],}$

Dabei bezeichnen und die inverse Transformation, die Daten bzw. den Kernel. Die Herleitung wird komplexer, wenn der Filterkernel zusätzlich eine nichtlineare Aktivierungsfunktion wie Sigmoid oder ReLU enthält . ${\displaystyle {\mathcal {A}},{\mathcal {B}}}$${\displaystyle {\mathcal {C}}}$

Die verborgenen Gewichte der Faltungsschicht sind die Parameter des Filters. Diese können durch eine Pooling-Schicht reduziert werden , wodurch die Auflösung (Größe) der Daten verringert wird, und können auch als Tensoroperation ausgedrückt werden.

Ein wichtiger Beitrag von Tensoren zum maschinellen Lernen ist die Möglichkeit, Tensoren zu faktorisieren , um Daten in ihre Bestandteile zu zerlegen oder die Anzahl der gelernten Parameter zu reduzieren. Techniken zur Datentensormodellierung basieren auf der linearen Tensorzerlegung (CANDECOMP/Parafac-Zerlegung) und der multilinearen Tensorzerlegung (Tucker).

Die Tucker-Zerlegung beispielsweise zerlegt ein dreidimensionales Array in drei Matrizen und einen kleineren Tensor . Die Form der Matrizen und des neuen Tensors ist so gewählt, dass die Gesamtzahl der Elemente reduziert wird. Die neuen Tensoren haben die Form … ${\displaystyle {\mathcal {X}}\in \mathbb {R} ^{I\times J\times K}}$${\displaystyle {\mathcal {A,B,C}}}$${\displaystyle {\mathcal {G}}}$

${\displaystyle {\mathcal {A}}\in \mathbb {R} ^{I\times P},}$

${\displaystyle {\mathcal {B}}\in \mathbb {R} ^{J\times Q},}$

${\displaystyle {\mathcal {C}}\in \mathbb {R} ^{K\times R},}$

${\displaystyle {\mathcal {G}}\in \mathbb {R} ^{P\times Q\times R}.}$

Dann lässt sich der ursprüngliche Tensor als Tensorprodukt dieser vier Tensoren ausdrücken:

${\displaystyle {\mathcal {X}}={\mathcal {G}}\times {\mathcal {A}}\times {\mathcal {B}}\times {\mathcal {C}}.}$

Im in der Abbildung dargestellten Beispiel haben die Tensoren folgende Dimensionen:

${\displaystyle {\mathcal {X}}}$: I=8, J=6, K=3, : I=8, P=5, : J=6, Q=4, : K=3, R=2, : P=5, Q=4, R=2.${\displaystyle {\mathcal {A}}}$${\displaystyle {\mathcal {B}}}$${\displaystyle {\mathcal {C}}}$${\displaystyle {\mathcal {G}}}$

Die Gesamtzahl der Elemente in der Tucker-Faktorisierung beträgt

${\displaystyle |{\mathcal {A}}|+|{\mathcal {B}}|+|{\mathcal {C}}|+|{\mathcal {G}}|=}$

${\displaystyle (I\times P)+(J\times Q)+(K\times R)+(P\times Q\times R)=8\times 5+6\times 4+3\times 2+5\times 4\times 2=110.}$

Die ursprüngliche Anzahl der Elemente beträgt 144, was zu einer Datenreduktion von 144 auf 110 Elemente führt – eine Verringerung der Parameter- bzw. Datengröße um 23 %. Bei deutlich größeren Ausgangstensoren und abhängig vom Rang (Redundanz) des Tensors können die Einsparungen noch signifikanter ausfallen. ${\displaystyle {\mathcal {X}}}$

Die Arbeit von Rabanser et al. bietet eine Einführung in Tensoren und geht detaillierter auf die Erweiterung der Tucker-Zerlegung auf N Dimensionen ein, die über das hier gegebene Beispiel des Modus 3 hinausgeht. ^{[ 5 ]}

Eine weitere Technik zur Zerlegung von Tensoren besteht darin, den ursprünglichen Tensor als Folge (Zug) kleinerer Tensoren darzustellen. Ein Tensorzug (TT) ist eine Folge von Tensoren reduzierten Rangs, den sogenannten kanonischen Faktoren . Der ursprüngliche Tensor lässt sich als Summenprodukt dieser Folge ausdrücken.

${\displaystyle {\mathcal {X}}={\mathcal {G_{1}}}{\mathcal {G_{2}}}{\mathcal {G_{3}}}..{\mathcal {G_{d}}}}$

Die 2011 von Ivan Oseledts entwickelte Tucker-Zerlegung ist laut dessen Aussage „für kleine Dimensionen, insbesondere im dreidimensionalen Fall, geeignet. Für große Dimensionen d ist sie ungeeignet.“ ^{[ 31 ]} Daher können Tensorzüge zur Faktorisierung größerer Tensoren in höheren Dimensionen verwendet werden.

Die einheitliche Datenarchitektur und die automatische Differenzierung von Tensoren haben höherwertige Designs für maschinelles Lernen in Form von Tensorgraphen ermöglicht. Dies führt zu neuen Architekturen wie Tensorgraph Convolutional Networks (TGCN), die hochgradig nichtlineare Zusammenhänge in Daten identifizieren, mehrere Beziehungen kombinieren und sich elegant skalieren lassen, während sie gleichzeitig robust und leistungsstark bleiben. ^{[ 32 ]}

Diese Entwicklungen wirken sich auf alle Bereiche des maschinellen Lernens aus, beispielsweise auf Text Mining und Clustering, zeitlich veränderliche Daten und neuronale Netze, bei denen die Eingangsdaten ein soziales Netzwerk darstellen und sich die Daten dynamisch ändern. ^{[ 33 ] [ 34 ] [ 35 ] [ 36 ]}

Tensoren bieten eine einheitliche Methode, um neuronale Netze für komplexere Datensätze zu trainieren. Das Training ist jedoch auf klassischer CPU-Hardware rechenintensiv.

2014 entwickelte Nvidia cuDNN (CUDA Deep Neural Network), eine Bibliothek für optimierte Primitive in der parallelen Programmiersprache CUDA. ^{[ 37 ]} CUDA und damit auch cuDNN laufen auf dedizierten GPUs, die massive Parallelverarbeitung in Hardware implementieren. Diese GPUs waren damals noch keine dedizierten Chips für Tensoren, sondern bereits vorhandene Hardware, die für parallele Berechnungen im maschinellen Lernen angepasst wurde.

Im Zeitraum 2015–2017 entwickelte Google die Tensor Processing Unit (TPU). ^{[ 38 ]} TPUs sind dedizierte Hardwareeinheiten mit fester Funktionalität, die auf die für Tensorprodukte benötigten Matrixmultiplikationen spezialisiert sind. Konkret implementieren sie ein Array von 65.536 Multiplikationseinheiten, die das Summenprodukt einer 256x256-Matrix in nur einem globalen Befehlszyklus berechnen können. ^{[ 39 ]}

Später im Jahr 2017 veröffentlichte Nvidia mit der Volta-GPU-Architektur seinen eigenen Tensor Core. Jeder Tensor Core ist eine Mikroeinheit, die die Summenfunktion einer 4x4-Matrix berechnen kann. Pro Shared Memory (SM)-Block gibt es acht Tensor Cores. ^{[ 40 ]} Die erste GV100-GPU-Karte verfügte über 108 SMs, was 672 Tensor Cores entspricht. Dieses Gerät beschleunigte maschinelles Lernen um das Zwölffache im Vergleich zu den vorherigen Tesla-GPUs. ^{[ 41 ]} Die Anzahl der Tensor Cores skaliert mit der Anzahl der Kerne und SM-Einheiten in jeder neuen Grafikkartengeneration.

Die Entwicklung von GPU-Hardware in Kombination mit der einheitlichen Architektur von Tensor-Kernen hat das Training deutlich größerer neuronaler Netze ermöglicht. Im Jahr 2022 war Googles PaLM mit 540 Milliarden gelernten Parametern (Netzwerkgewichten) das größte neuronale Netz ^{[ 42 ]} (das ältere Sprachmodell GPT-3 verfügt über mehr als 175 Milliarden gelernte Parameter und erzeugt menschenähnliche Texte; Größe ist nicht alles: Stanfords deutlich kleineres Alpaca-Modell von 2023 behauptet, besser zu sein ^{[ 43 ]} , da es vom Meta/Facebook-Modell LLaMA aus dem Jahr 2023 , der kleineren Variante mit 7 Milliarden Parametern, gelernt hat). Der weit verbreitete Chatbot ChatGPT basiert auf GPT-3.5 (und nach einem Update auf GPT-4 ) und nutzt überwachtes und bestärkendes Lernen.