Tensorrangzerlegung

In der multilinearen Algebra bezeichnet die Tensorrangzerlegung ^{[ 1 ]} oder Rang- R- Zerlegung die Zerlegung eines Tensors in eine Summe von R Rang-1-Tensoren, wobei R minimal ist. Die Berechnung dieser Zerlegung ist ein ungelöstes Problem.

Die kanonische polyadische Zerlegung (CP-Zerlegung) ist eine Variante der Tensorrangzerlegung, bei der der Tensor als Summe von K Rang-1-Tensoren für ein benutzerdefiniertes K approximiert wird . Die CP-Zerlegung findet Anwendung in der Linguistik und Chemometrie . Sie wurde 1927 von Frank Lauren Hitchcock eingeführt ^{[ 2 ]} und später mehrfach wiederentdeckt, insbesondere in der Psychometrie. ^{[ 3 ] [ 4 ]} Die CP-Zerlegung wird auch als CANDECOMP ^{[ 3 ]} , PARAFAC ^{[ 4 ]} oder CANDECOMP/PARAFAC (CP) bezeichnet. Die Rangzerlegung PARAFAC2 ist eine Variante der CP-Zerlegung. ^{[ 5 ]}

Eine weitere populäre Verallgemeinerung der Matrix-SVD, die als Singulärwertzerlegung höherer Ordnung bekannt ist , berechnet orthonormale Modenmatrizen und findet Anwendung in der Ökonometrie , Signalverarbeitung , Computer Vision , Computergrafik und Psychometrie .

Skalare Variablen werden durch kursive Kleinbuchstaben, obere Schranken skalare Variablen durch kursive Großbuchstaben gekennzeichnet . ${\displaystyle a}$${\displaystyle A}$

Indizes werden durch eine Kombination aus kursiven Klein- und Großbuchstaben gekennzeichnet . Mehrere Indizes, die beim Verweisen auf die verschiedenen Modi eines Tensors auftreten können, werden zweckmäßigerweise mit bezeichnet, wobei . ${\displaystyle 1\leq i\leq I}$${\displaystyle 1\leq i_{m}\leq I_{m}}$${\displaystyle 1\leq m\leq M}$

Ein Vektor wird durch einen kleinen fettgedruckten römischen Buchstaben gekennzeichnet, eine Matrix durch fettgedruckte Großbuchstaben . ${\displaystyle \mathbf {a} }$${\displaystyle \mathbf {A} }$

Ein Tensor höherer Ordnung wird mit kalligrafischen Buchstaben bezeichnet, . Ein Element eines Tensors der Ordnung - wird mit oder bezeichnet . ${\displaystyle {\mathcal {A}}}$${\displaystyle M}$${\displaystyle {\mathcal {A}}\in \mathbb {C} ^{I_{1}\times I_{2}\times \dots I_{m}\times \dots I_{M}}}$${\displaystyle a_{i_{1},i_{2},\dots ,i_{m},\dots i_{M}}}$${\displaystyle {\mathcal {A}}_{i_{1},i_{2},\dots ,i_{m},\dots i_{M}}}$

Ein Datentensor ist eine Sammlung multivariater Beobachtungen, die in einem M -fachen Array organisiert sind, wobei M = C + 1. Jeder Tensor kann mit einem ausreichend großen als Linearkombination von Rang-1-Tensoren dargestellt werden: ${\displaystyle {\mathcal {A}}\in {\mathbb {F} }^{I_{0}\times I_{1}\times \ldots \times I_{C}}}$${\displaystyle R}$${\displaystyle R}$

${\displaystyle {\mathcal {A}}=\sum _{r=1}^{R}\lambda _{r}\mathbf {a} _{0,r}\otimes \mathbf {a} _{1,r}\otimes \mathbf {a} _{2,r}\dots \otimes \mathbf {a} _{c,r}\otimes \cdots \otimes \mathbf {a} _{C,r},}$

Wenn die Anzahl der Terme im obigen Ausdruck minimal ist, wird dies als Rang des Tensors bezeichnet, und die Zerlegung wird oft als (Tensor-)Rangzerlegung, minimale CP-Zerlegung oder kanonische polyadische Zerlegung (CPD) bezeichnet . Ist die Anzahl der Terme nicht minimal , wird die obige Zerlegung oft als CANDECOMP/PARAFAC , polyadische Zerlegung , bezeichnet . ${\displaystyle \lambda _{r}\in {\mathbb {F} }}$${\displaystyle \mathbf {a} _{m,r}\in {\mathbb {F} }^{I_{m}}}$${\displaystyle 1\leq m\leq M}$${\displaystyle R}$${\displaystyle R}$

Im Gegensatz zu Matrizen ist die Rangberechnung eines Tensors NP-schwer . ^{[ 6 ]} Der einzige nennenswerte, gut verstandene Fall betrifft Tensoren in ℝⁿ , deren Rang sich aus der Kronecker - Weierstrass -Normalform des linearen Matrixbüschels , das der Tensor repräsentiert, ergibt. ^{[ 7 ]} Es existiert ein einfacher Polynomialzeitalgorithmus, der den Rang eines Tensors von 1 bestätigt, nämlich die Singulärwertzerlegung höherer Ordnung . ${\displaystyle F^{I_{m}}\otimes F^{I_{n}}\otimes F^{2}}$

Der Rang eines Nulltensors ist per Konvention null. Der Rang eines Tensors ist eins, vorausgesetzt, dass . ${\displaystyle \mathbf {a} _{1}\otimes \cdots \otimes \mathbf {a} _{M}}$${\displaystyle \mathbf {a} _{m}\in F^{I_{m}}\setminus \{0\}}$

Der Rang eines Tensors hängt vom Körper ab, über dem der Tensor zerlegt wird. Es ist bekannt, dass manche reelle Tensoren eine komplexe Zerlegung zulassen, deren Rang strikt kleiner ist als der Rang einer reellen Zerlegung desselben Tensors. Beispielsweise betrachten wir in ^{[ 8 ]} den folgenden reellen Tensor

${\displaystyle {\mathcal {A}}=\mathbf {x} _{1}\otimes \mathbf {x} _{2}\otimes \mathbf {x} _{3}+\mathbf {x} _{1}\otimes \mathbf {y} _{2}\otimes \mathbf {y} _{3}-\mathbf {y} _{1}\otimes \mathbf {x} _{2}\otimes \mathbf {y} _{3}+\mathbf {y} _{1}\otimes \mathbf {y} _{2}\otimes \mathbf {x} _{3},}$

wobei . Der Rang dieses Tensors über den reellen Zahlen ist bekanntermaßen 3, sein komplexer Rang hingegen nur 2, da er die Summe eines komplexen Tensors vom Rang 1 mit seinem komplex Konjugierten ist , nämlich ${\displaystyle \mathbf {x} _{i},\mathbf {y} _{j}\in \mathbb {R} ^{2}}$

${\displaystyle {\mathcal {A}}={\frac {1}{2}}({\bar {\mathbf {z} }}_{1}\otimes \mathbf {z} _{2}\otimes {\bar {\mathbf {z} }}_{3}+\mathbf {z} _{1}\otimes {\bar {\mathbf {z} }}_{2}\otimes \mathbf {z} _{3}),}$

Wo . ${\displaystyle \mathbf {z} _{k}=\mathbf {x} _{k}+i\mathbf {y} _{k}}$

Im Gegensatz dazu wird der Rang reeller Matrizen bei einer Körpererweiterung niemals abnehmen : Der Rang reeller Matrizen und der Rang komplexer Matrizen stimmen bei reellen Matrizen überein. ${\displaystyle \mathbb {C} }$

Der generische Rang ist definiert als der kleinste Rang, für den der Abschluss der Menge der Tensoren vom Rang höchstens in der Zariski-Topologie den gesamten Raum bildet . Im Fall komplexer Tensoren bilden Tensoren vom Rang höchstens eine dichte Menge : Jeder Tensor in diesem Raum hat entweder einen Rang kleiner als der generische Rang oder ist der Limes einer Folge von Tensoren aus in der euklidischen Topologie . Im Fall reeller Tensoren bildet die Menge der Tensoren vom Rang höchstens lediglich eine offene Menge positiven Maßes in der euklidischen Topologie. Es können euklidisch offene Mengen von Tensoren existieren, deren Rang strikt höher als der generische Rang ist. Alle Ränge, die auf offenen Mengen in der euklidischen Topologie auftreten, werden typische Ränge genannt . Der kleinste typische Rang heißt generischer Rang; diese Definition gilt sowohl für komplexe als auch für reelle Tensoren. Der generische Rang von Tensorräumen wurde erstmals 1983 von Volker Strassen untersucht . ^{[ 9 ]}${\displaystyle r(I_{1},\ldots ,I_{M})}$${\displaystyle r}$${\displaystyle r}$${\displaystyle F^{I_{1}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle r(I_{1},\ldots ,I_{M})}$${\displaystyle S}$${\displaystyle S}$${\displaystyle r(I_{1},\ldots ,I_{M})}$

Zur Veranschaulichung der obigen Konzepte ist bekannt, dass 2 und 3 typische Ränge von Tensoren sind, während der generische Rang 2 beträgt. Praktisch bedeutet dies, dass ein zufällig ausgewählter reeller Tensor (aus einem stetigen Wahrscheinlichkeitsmaß auf dem Raum der Tensoren) der Größe n mit Wahrscheinlichkeit null ein Rang-1-Tensor, mit positiver Wahrscheinlichkeit ein Rang-2-Tensor und mit positiver Wahrscheinlichkeit ein Rang-3-Tensor ist. Ein zufällig ausgewählter komplexer Tensor derselben Größe ist hingegen mit Wahrscheinlichkeit null ein Rang-1-Tensor, mit Wahrscheinlichkeit eins ein Rang-2-Tensor und mit Wahrscheinlichkeit null ein Rang-3-Tensor. Es ist sogar bekannt, dass der generische reelle Rang-3-Tensor in n den komplexen Rang 2 hat. ${\displaystyle \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}}$${\displaystyle \mathbb {C} ^{2}\otimes \mathbb {C} ^{2}\otimes \mathbb {C} ^{2}}$${\displaystyle 2\times 2\times 2}$${\displaystyle \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}}$

Der allgemeine Rang von Tensorräumen hängt von der Unterscheidung zwischen balancierten und unbalancierten Tensorräumen ab. Ein Tensorraum , wobei , heißt unbalanciert, wenn ${\displaystyle F^{I_{1}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle I_{1}\geq I_{2}\geq \cdots \geq I_{M}}$

${\displaystyle I_{1}>1+\prod _{m=2}^{M}I_{m}-\sum _{m=2}^{M}(I_{m}-1),}$

Andernfalls spricht man von einem ausgeglichenen Zustand .

Wenn der erste Faktor im Tensorprodukt im Verhältnis zu den anderen Faktoren sehr groß ist, verhält sich der Tensorraum im Wesentlichen wie ein Matrixraum. Der generische Rang von Tensoren in einem unbalancierten Tensorraum ist bekanntlich gleich

${\displaystyle r(I_{1},\ldots ,I_{M})=\min \left\{I_{1},\prod _{m=2}^{M}I_{m}\right\}}$

fast überall . Genauer gesagt, der Rang jedes Tensors in einem unbalancierten Tensorraum , wobei eine unbestimmte abgeschlossene Menge in der Zariski-Topologie ist, entspricht dem obigen Wert. ^{[ 10 ]}${\displaystyle F^{I_{1}\times \cdots \times I_{M}}\setminus Z}$${\displaystyle Z}$

Der erwartete generische Rang von Tensoren in einem balancierten Tensorraum ist gleich

${\displaystyle r_{E}(I_{1},\ldots ,I_{M})=\left\lceil {\frac {\Pi }{\Sigma +1}}\right\rceil }$

fast überall für komplexe Tensoren und auf einer euklidisch offenen Menge für reelle Tensoren, wo

${\displaystyle \Pi =\prod _{m=1}^{M}I_{m}\quad {\text{and}}\quad \Sigma =\sum _{m=1}^{M}(I_{m}-1).}$

Genauer gesagt, wird erwartet, dass der Rang jedes Tensors in , wobei eine unbestimmte abgeschlossene Menge in der Zariski-Topologie ist, dem oben genannten Wert entspricht. ^{[ 11 ]} Für reelle Tensoren ist der kleinste Rang, der auf einer Menge mit positivem euklidischem Maß erwartet wird. Dieser Wert wird oft als der erwartete generische Rang des Tensorraums bezeichnet, da er nur vermutet werden kann. Es ist bekannt, dass der wahre generische Rang stets erfüllt. ${\displaystyle \mathbb {C} ^{I_{1}\times \cdots \times I_{M}}\setminus Z}$${\displaystyle Z}$${\displaystyle r_{E}(I_{1},\ldots ,I_{M})}$${\displaystyle r_{E}(I_{1},\ldots ,I_{M})}$${\displaystyle F^{I_{1}\times \cdots \times I_{M}}}$

${\displaystyle r(I_{1},\ldots ,I_{M})\geq r_{E}(I_{1},\ldots ,I_{M}).}$

Die Abo-Ottaviani-Peterson-Vermutung ^{[ 11 ]} besagt, dass Gleichheit zu erwarten ist, d.h. , mit den folgenden Ausnahmefällen: ${\displaystyle r(I_{1},\ldots ,I_{M})=r_{E}(I_{1},\ldots ,I_{M})}$

• ${\displaystyle F^{(2m+1)\times (2m+1)\times 3}{\text{ with }}m=1,2,\ldots }$
• ${\displaystyle F^{(m+1)\times (m+1)\times 2\times 2}{\text{ with }}m=2,3,\ldots }$

In jedem dieser Ausnahmefälle ist der generische Rang bekannt . Man beachte, dass die Menge der Tensoren vom Rang 3 in zwar fehlerhaft ist (13 statt der erwarteten 14), der generische Rang in diesem Raum aber dennoch der erwartete Wert 4 ist. Ebenso ist die Menge der Tensoren vom Rang 5 in fehlerhaft (44 statt der erwarteten 45), der generische Rang in diesem Raum ist aber dennoch der erwartete Wert 6. ${\displaystyle r(I_{1},\ldots ,I_{m},\ldots ,I_{M})=r_{E}(I_{1},\ldots ,I_{M})+1}$${\displaystyle F^{2\times 2\times 2\times 2}}$${\displaystyle F^{4\times 4\times 3}}$

Die AOP-Vermutung wurde in einer Reihe von Spezialfällen vollständig bewiesen. Lickteig zeigte bereits 1985, dass , vorausgesetzt . ^{[ 12 ]} Im Jahr 2011 gelang Catalisano, Geramita und Gimigliano ein bedeutender Durchbruch. Sie bewiesen, dass die erwartete Dimension der Menge der Rangtensoren des Formats die erwartete Dimension ist, außer bei Rang-3-Tensoren im 4-Faktor-Fall; der erwartete Rang ist jedoch auch in diesem Fall 4. Daraus folgt, dass für alle binären Tensoren gilt. ^{[ 13 ]}${\displaystyle r(n,n,n)=r_{E}(n,n,n)}$${\displaystyle n\neq 3}$${\displaystyle s}$${\displaystyle 2\times 2\times \cdots \times 2}$${\displaystyle r(2,2,\ldots ,2)=r_{E}(2,2,\ldots ,2)}$

Der maximale Rang , den ein Tensor in einem Tensorraum annehmen kann, ist im Allgemeinen unbekannt; es fehlt sogar eine Vermutung darüber. Derzeit besagt die beste allgemeine obere Schranke, dass der maximale Rang von , wobei , die Bedingung erfüllt. ${\displaystyle r_{\mbox{max}}(I_{1},\ldots ,I_{M})}$${\displaystyle F^{I_{1}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle I_{1}\geq I_{2}\geq \cdots \geq I_{M}}$

${\displaystyle r_{\mbox{max}}(I_{1},\ldots ,I_{M})\leq \min \left\{\prod _{m=2}^{M}I_{m},2\cdot r(I_{1},\ldots ,I_{M})\right\},}$

wobei der (kleinste) generische Rang von ist . ^{[ 14 ]} Es ist bekannt, dass die obige Ungleichung strikt sein kann. Beispielsweise ist der generische Rang von Tensoren in zwei, sodass die obige Schranke ergibt , während bekannt ist, dass der maximale Rang gleich 3 ist. ^{[ 8 ]}${\displaystyle r(I_{1},\ldots ,I_{M})}$${\displaystyle F^{I_{1}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle \mathbb {R} ^{2\times 2\times 2}}$${\displaystyle r_{\mbox{max}}(2,2,2)\leq 4}$

Ein Rang- Tensor heißt Randtensor , wenn es eine Folge von Tensoren vom Rang höchstens gibt, deren Grenzwert ist . Ist der kleinste Wert, für den eine solche konvergente Folge existiert, so wird er als Randrang von bezeichnet . Für Tensoren zweiter Ordnung, d. h. Matrizen, stimmen Rang und Randrang stets überein; für Tensoren höherer Ordnung können sie jedoch voneinander abweichen. Randtensoren wurden erstmals 1980 von Bini, Lotti und Romani im Kontext schneller approximativer Matrixmultiplikationsalgorithmen untersucht. ^{[ 15 ]}${\displaystyle s}$${\displaystyle {\mathcal {A}}}$${\displaystyle r<s}$${\displaystyle {\mathcal {A}}}$${\displaystyle r}$${\displaystyle {\mathcal {A}}}$${\displaystyle \geq 3}$

Ein klassisches Beispiel für einen Randtensor ist der Rang-3-Tensor.

${\displaystyle {\mathcal {A}}=\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} ,\quad {\text{with }}\|\mathbf {u} \|=\|\mathbf {v} \|=1{\text{ and }}\langle \mathbf {u} ,\mathbf {v} \rangle \neq 1.}$

Sie kann beliebig gut durch die folgende Folge von Tensoren zweiter Stufe angenähert werden.

${\displaystyle {\begin{aligned}{\mathcal {A}}_{m}&=m\left(\mathbf {u} +{\frac {1}{m}}\mathbf {v} \right)\otimes \left(\mathbf {u} +{\frac {1}{m}}\mathbf {v} \right)\otimes \left(\mathbf {u} +{\frac {1}{m}}\mathbf {v} \right)-m\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {u} \\&=\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} +{\frac {1}{m}}(\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {v} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {v} \otimes \mathbf {v} \otimes \mathbf {u} )+{\frac {1}{m^{2}}}\mathbf {v} \otimes \mathbf {v} \otimes \mathbf {v} \end{aligned}}}$

Daher ist sein Randrang 2, was strikt kleiner als sein Rang ist. Wenn die beiden Vektoren orthogonal sind, wird dieses Beispiel auch als W-Zustand bezeichnet . ${\displaystyle m\to \infty }$

Aus der Definition eines reinen Tensors folgt, dass genau dann gilt, wenn es solche gibt, dass und für alle m . Aus diesem Grund werden die Parameter eines Rang-1-Tensors als identifizierbar oder wesentlich eindeutig bezeichnet. Ein Rang -1- Tensor heißt identifizierbar , wenn jede seiner Rangzerlegungen die Summe derselben Menge verschiedener Tensoren ist, wobei die Tensoren vom Rang 1 sind. Ein identifizierbarer Rang-1- Tensor besitzt somit nur eine wesentlich eindeutige Zerlegung , und alle Rangzerlegungen von Tensoren können durch Permutation der Reihenfolge der Summanden erhalten werden. Man beachte, dass in einer Rangzerlegung alle Tensoren verschieden sind, da der Rang von sonst höchstens 1 wäre . ${\displaystyle {\mathcal {A}}=\mathbf {a} _{1}\otimes \mathbf {a} _{2}\otimes \cdots \otimes \mathbf {a} _{M}=\mathbf {b} _{1}\otimes \mathbf {b} _{2}\otimes \cdots \otimes \mathbf {b} _{M}}$${\displaystyle \lambda _{k}}$${\displaystyle \lambda _{1}\lambda _{2}\cdots \lambda _{M}=1}$${\displaystyle \mathbf {a} _{m}=\lambda _{m}\mathbf {b} _{m}}$${\displaystyle \{\mathbf {a} _{m}\}_{m=1}^{M}}$${\displaystyle {\mathcal {A}}}$${\displaystyle r}$${\displaystyle {\mathcal {A}}\in F^{I_{1}}\otimes F^{I_{2}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle r}$${\displaystyle \{{\mathcal {A}}_{1},{\mathcal {A}}_{2},\ldots ,{\mathcal {A}}_{r}\}}$${\displaystyle {\mathcal {A}}_{i}}$${\displaystyle r}$$${\displaystyle {\mathcal {A}}=\sum _{i=1}^{r}{\mathcal {A}}_{i},}$$${\displaystyle r!}$${\displaystyle {\mathcal {A}}}$${\displaystyle {\mathcal {A}}_{i}}$${\displaystyle {\mathcal {A}}}$${\displaystyle r-1}$

Tensoren zweiter Ordnung in , d. h. Matrizen, sind für nicht identifizierbar . Dies folgt im Wesentlichen aus der Beobachtung, dass eine invertierbare Matrix ist, , , und . Es lässt sich zeigen ^{[ 16 ]} , dass für jedes , wobei eine abgeschlossene Menge in der Zariski-Topologie ist, die Zerlegung auf der rechten Seite die Summe einer anderen Menge von Rang-1-Tensoren ist als die Zerlegung auf der linken Seite, woraus folgt, dass Tensoren zweiter Ordnung vom Rang im Allgemeinen nicht identifizierbar sind. ${\displaystyle F^{I_{1}}\otimes F^{I_{2}}\simeq F^{I_{1}\times I_{2}}}$${\displaystyle r>1}$$${\displaystyle {\mathcal {A}}=\sum _{i=1}^{r}\mathbf {a} _{i}\otimes \mathbf {b} _{i}=\sum _{i=1}^{r}\mathbf {a} _{i}\mathbf {b} _{i}^{T}=AB^{T}=(AX^{-1})(BX^{T})^{T}=\sum _{i=1}^{r}\mathbf {c} _{i}\mathbf {d} _{i}^{T}=\sum _{i=1}^{r}\mathbf {c} _{i}\otimes \mathbf {d} _{i},}$$${\displaystyle X\in \mathrm {GL} _{r}(F)}$${\displaystyle r\times r}$${\displaystyle A=[\mathbf {a} _{i}]_{i=1}^{r}}$${\displaystyle B=[\mathbf {b} _{i}]_{i=1}^{r}}$${\displaystyle AX^{-1}=[\mathbf {c} _{i}]_{i=1}^{r}}$${\displaystyle BX^{T}=[\mathbf {d} _{i}]_{i=1}^{r}}$${\displaystyle X\in \mathrm {GL} _{n}(F)\setminus Z}$${\displaystyle Z}$${\displaystyle r>1}$

Die Situation ändert sich grundlegend für Tensoren höherer Ordnung in mit und allen . Der Einfachheit halber nehmen wir ohne Beschränkung der Allgemeinheit an, dass die Faktoren so geordnet sind, dass . Sei die Menge der Tensoren vom Rang , die durch beschränkt sind . Dann wurde die folgende Aussage mithilfe eines computergestützten Beweises für alle Räume der Dimension als korrekt bewiesen ^{[ 17 ]} , und es wird vermutet, dass sie allgemein gültig ist: ^{[ 17 ] [ 18 ] [ 19 ]}${\displaystyle F^{I_{1}}\otimes F^{I_{2}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle M>2}$${\displaystyle I_{m}\geq 2}$${\displaystyle I_{1}\geq I_{2}\geq \cdots \geq I_{M}\geq 2}$${\displaystyle S_{r}\subset F^{I_{1}}\otimes \cdots F^{I_{m}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle r}$${\displaystyle \Pi <15000}$

Es gibt eine abgeschlossene Menge in der Zariski-Topologie, sodass jeder Tensor identifizierbar ist ( in diesem Fall wird er als generisch identifizierbar bezeichnet ), es sei denn, einer der folgenden Ausnahmefälle trifft zu: ${\displaystyle Z_{r}}$${\displaystyle {\mathcal {A}}\in S_{r}\setminus Z_{r}}$${\displaystyle S_{r}}$

1. Der Rang ist zu groß: ;${\displaystyle r>r_{E}(I_{1},I_{2},\ldots ,I_{M})}$
2. Der Raum ist hinsichtlich der Identifizierbarkeit unausgewogen, d.h. , und der Rang ist zu groß: ;${\textstyle I_{1}>\prod _{m=2}^{M}i_{m}-\sum _{m=2}^{M}(I_{m}-1)}$${\textstyle r\geq \prod _{m=2}^{M}I_{m}-\sum _{m=2}^{M}(I_{m}-1)}$
3. Der Leerraum ist der fehlerhafte Fall und der Rang ist ;${\displaystyle F^{4}\otimes F^{4}\otimes F^{3}}$${\displaystyle r=5}$
4. Der Raum ist der defekte Fall , wobei , und der Rang ist ;${\displaystyle F^{n}\otimes F^{n}\otimes F^{2}\otimes F^{2}}$${\displaystyle n\geq 2}$${\displaystyle r=2n-1}$
5. Der Raum ist und der Rang ist ;${\displaystyle F^{4}\otimes F^{4}\otimes F^{4}}$${\displaystyle r=6}$
6. Der Raum ist und der Rang ist ; oder${\displaystyle F^{6}\otimes F^{6}\otimes F^{3}}$${\displaystyle r=8}$
7. Der Raum ist und der Rang ist .${\displaystyle F^{2}\otimes F^{2}\otimes F^{2}\otimes F^{2}\otimes F^{2}}$${\displaystyle r=5}$
8. Der Raum ist perfekt, d.h. ist eine ganze Zahl, und der Rang ist .${\textstyle r_{E}(I_{1},I_{2},\ldots ,I_{M})={\frac {\Pi }{\Sigma +1}}}$${\textstyle r=r_{E}(I_{1},I_{2},\ldots ,I_{M})}$

In diesen Ausnahmefällen ist die generische (und auch minimale) Anzahl komplexer Zerlegungen

• erwies sich in den ersten 4 Fällen als zutreffend ;${\displaystyle \infty }$
• erwies sich im Fall 5 als zwei; ^{[ 20 ]}
• erwartet wird, dass ^{[ 21 ]} im Fall 6 sechs ist;
• erwies sich im Fall 7 als zwei; ^{[ 22 ]} und
• erwartet wird ^{, dass} es im Fall 8 mindestens zwei gibt, mit Ausnahme der beiden identifizierbaren ^Fälle und .${\displaystyle F^{5}\otimes F^{4}\otimes F^{3}}$${\displaystyle F^{3}\otimes F^{2}\otimes F^{2}\otimes F^{2}}$

Zusammenfassend lässt sich sagen, dass der generische Tensor von Ordnung und Rang , der nicht unausgeglichen in Bezug auf die Identifizierbarkeit ist, voraussichtlich identifizierbar ist (abgesehen von den Ausnahmefällen in kleinen Räumen). ${\displaystyle M>2}$${\textstyle r<{\frac {\Pi }{\Sigma +1}}}$

Das Rangapproximationsproblem fragt nach der Rangzerlegung, die (in der üblichen euklidischen Topologie) einem Rangtensor am nächsten liegt , wobei . Das heißt, man sucht die Lösung für ${\displaystyle r}$${\displaystyle s}$${\displaystyle {\mathcal {A}}}$${\displaystyle r<s}$

${\displaystyle \min _{\mathbf {a} _{i}^{m}\in F^{I_{m}}}\left\|{\mathcal {A}}-\sum _{i=1}^{r}\mathbf {a} _{i}^{1}\otimes \mathbf {a} _{i}^{2}\otimes \cdots \otimes \mathbf {a} _{i}^{M}\right\|_{F},}$

Wo liegt die Frobenius-Norm ? ${\displaystyle \|\cdot \|_{F}}$

^{In einer Arbeit von de Silva und Lim [ 8 ]} aus dem Jahr 2008 wurde gezeigt , dass das oben genannte Standard-Approximationsproblem schlecht gestellt sein kann . Eine Lösung des genannten Problems existiert unter Umständen nicht, da die Menge, über der optimiert wird, nicht abgeschlossen ist. Daher existiert möglicherweise kein Minimierer, obwohl ein Infimum existieren würde. Insbesondere ist bekannt, dass bestimmte sogenannte Randtensoren beliebig gut durch eine Folge von Tensoren vom Rang höchstens approximiert werden können , obwohl der Grenzwert der Folge gegen einen Tensor vom Rang 3 konvergiert, der strikt höher als 3 ist.${\displaystyle r}$${\displaystyle r}$

${\displaystyle {\mathcal {A}}=\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} ,\quad {\text{with }}\|\mathbf {u} \|=\|\mathbf {v} \|=1{\text{ and }}\langle \mathbf {u} ,\mathbf {v} \rangle \neq 1}$

kann beliebig gut durch die folgende Folge von Tensoren zweiter Stufe angenähert werden.

${\displaystyle {\mathcal {A}}_{n}=n\left(\mathbf {u} +{\frac {1}{n}}\mathbf {v} \right)\otimes \left(\mathbf {u} +{\frac {1}{n}}\mathbf {v} \right)\otimes \left(\mathbf {u} +{\frac {1}{n}}\mathbf {v} \right)-n\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {u} }$

Dieses Beispiel veranschaulicht anschaulich das allgemeine Prinzip, dass eine Folge von Rang- Tensoren, die gegen einen Tensor von strikt höherem Rang konvergiert, mindestens zwei einzelne Terme vom Rang 1 besitzen muss, deren Normen unbeschränkt werden. Formal ausgedrückt: Immer wenn eine Folge${\displaystyle n\to \infty }$${\displaystyle r}$

${\displaystyle {\mathcal {A}}_{n}=\sum _{i=1}^{r}\mathbf {a} _{i,n}^{1}\otimes \mathbf {a} _{i,n}^{2}\otimes \cdots \otimes \mathbf {a} _{i,n}^{M}}$

hat die Eigenschaft, dass (in der euklidischen Topologie) für , dann sollte es mindestens ein solches geben, dass ${\displaystyle {\mathcal {A}}_{n}\to {\mathcal {A}}}$${\displaystyle n\to \infty }$${\displaystyle 1\leq i\neq j\leq r}$

${\displaystyle \|\mathbf {a} _{i,n}^{1}\otimes \mathbf {a} _{i,n}^{2}\otimes \cdots \otimes \mathbf {a} _{i,n}^{M}\|_{F}\to \infty {\text{ and }}\|\mathbf {a} _{j,n}^{1}\otimes \mathbf {a} _{j,n}^{2}\otimes \cdots \otimes \mathbf {a} _{j,n}^{M}\|_{F}\to \infty }$

Dieses Phänomen tritt häufig bei der Approximation eines Tensors mithilfe numerischer Optimierungsalgorithmen auf. Es wird mitunter als Problem divergierender Komponenten bezeichnet. Darüber hinaus wurde gezeigt, dass ein zufälliger Tensor niedrigen Rangs über den reellen Zahlen möglicherweise nicht mit positiver Wahrscheinlichkeit eine Rang-2-Approximation zulässt. Dies führte zu der Erkenntnis, dass die Schlechtgestelltheit des Problems bei der Anwendung der Tensorrangzerlegung eine wichtige Rolle spielt. ${\displaystyle n\to \infty }$

Eine gängige Teillösung für das Problem der Schlechtgestelltheit besteht darin, eine zusätzliche Ungleichungsnebenbedingung einzuführen, die die Norm der einzelnen Terme vom Rang 1 durch eine Konstante beschränkt. Andere Nebenbedingungen, die zu einer abgeschlossenen Menge und somit zu einem wohlgestellten Optimierungsproblem führen, umfassen die Forderung nach Positivität oder eines beschränkten Skalarprodukts kleiner als eins zwischen den Termen vom Rang 1, die in der gesuchten Zerlegung auftreten.

Alternierende Algorithmen:

• alternierende kleinste Quadrate (ALS)
• alternierende scheibenweise Diagonalisierung (ASD)

Direkte Algorithmen:

• Algorithmen basierend auf Stiften ^{[ 23 ] [ 24 ] [ 25 ] [ 26 ] [ 27 ] [ 28 ] [ 29 ]}
• momentenbasierte Algorithmen ^{[ 30 ]}

Allgemeine Optimierungsalgorithmen:

• simultane Diagonalisierung (SD)
• simultane verallgemeinerte Schur-Zerlegung (SGSD)
• Levenberg-Marquardt (LM)
• nichtlinearer konjugierter Gradient (NCG)
• BFGS mit beschränktem Speicher (L-BFGS)

Eigenwertalgorithmen:

• Leistungsiteration ^{[ 31 ]}

Faktorisierungsmaschinen:

• Support Vector Machines (SVMs) und Faktorisierung ^{[ 32 ]}

Bayes'sche Faktorisierungen/Sampling/Markov-Chain-Monte-Carlo (MCMC):

• Bayesianische probabilistische Tensorfaktorisierung (Gibbs-Sampling) ^{[ 33 ]}

Deep Learning/Neuronale Netze (Gradientenbasiertes Lernen):

• LFM ^{[ 34 ]}
• Semantisches Matching-Energienetzwerk (SME) ^{[ 35 ]}
• Neuronale Tensornetzwerke ^{[ 36 ]}
• Rekurrente Graph-Tensor-Netzwerke ^{[ 37 ]}

Allgemeine Algorithmen zur Lösung von Polynomsystemen:

• Homotopie-Fortsetzung ^{[ 38 ]}

^{P. Wiriyathammabhum und B. Kijsirikul [ 39 ]} stellten jedoch fest, dass es keine optimalen Lösungsalgorithmen gibt (alle bestehenden Optimierungsmethoden liefern keine nachweislich optimalen Lösungen). Sie erstellten einen Score-Tensor und ordneten die Lösungen mithilfe einer gierigen schrittweisen Auswahl neu, wodurch deutlich bessere Lösungen erzielt werden konnten, zumindest bei nd-PCA, nd-FLD/LDA usw. (CPD- und Tucker-Varianten). Die Hypothese lautet, dass die Optimierung des n-ten Parameters bei Fixierung aller anderen n-1-ten Parameter ^stets (nachweislich) suboptimal ist. M. S. Mahanta und K. N. Plataniotis ^{[ 40 ]} schlugen eine weitere spektrale Clustering-Lösung vor, die noch bessere Ergebnisse liefert.

Im maschinellen Lernen ist die CP-Zerlegung ein zentraler Bestandteil des Lernens probabilistischer latenter Variablenmodelle mittels Momentenvergleich. Betrachten wir beispielsweise das Multi-View-Modell ^{[ 41 ]} , ein solches probabilistisches latentes Variablenmodell. In diesem Modell wird die Generierung von Stichproben wie folgt angenommen: Es existiert eine verborgene Zufallsvariable, die nicht direkt beobachtet wird. Ausgehend von dieser Variable existieren mehrere bedingt unabhängige Zufallsvariablen, die als verschiedene „Ansichten“ der verborgenen Variable bezeichnet werden. Angenommen, es gibt drei Ansichten einer k-Zustands-kategorialen verborgenen Variable . Dann ist das empirische dritte Moment dieses latenten Variablenmodells ein Tensor vom Rang 3 und kann wie folgt zerlegt werden: . ${\displaystyle x_{1},x_{2},x_{3}}$${\displaystyle k}$${\displaystyle h}$${\displaystyle E[x_{1}\otimes x_{2}\otimes x_{3}]}$${\displaystyle E[x_{1}\otimes x_{2}\otimes x_{3}]=\sum _{i=1}^{k}Pr(h=i)E[x_{1}|h=i]\otimes E[x_{2}|h=i]\otimes E[x_{3}|h=i]}$

In Anwendungen wie dem Topic Modeling lässt sich dies als das gemeinsame Auftreten von Wörtern in einem Dokument interpretieren. Die Koeffizienten in der Zerlegung dieses empirischen Momenttensors können dann als die Wahrscheinlichkeit der Auswahl eines bestimmten Themas interpretiert werden, und jede Spalte der Faktormatrix entspricht den Wahrscheinlichkeiten der Wörter im Vokabular des jeweiligen Themas. ${\displaystyle E[x|h=i]}$

• Latent-Class-Analyse
• Multilineares Unterraumlernen
• Singulärwertzerlegung
• Tucker-Zerlegung
• Singulärwertzerlegung höherer Ordnung
• Tensorzerlegung

• Kolda, Tamara G .; Bader, Brett W. (2009). „Tensor Decompositions and Applications“. SIAM Rev. 51 ( 3): 455–500 . Bibcode : 2009SIAMR..51..455K . CiteSeerX  : 10.1.1.153.2059 . doi : 10.1137/07070111X . S2CID  : 16074195 .
• Landsberg, Joseph M. (2012). Tensoren: Geometrie und Anwendungen . AMS.
• Kroonenberg, Pieter M. (2008). Angewandte Mehrweg-Datenanalyse . John Wiley & Söhne.

• PARAFAC-Tutorial
• Parallelfaktorenanalyse (PARAFAC)
• FactoMineR (kostenlose explorative multivariate Datenanalyse-Software, die mit R verknüpft ist )