In der Mathematik ist eine Norm allgemein eine Funktion, die einen Vektorraum auf nichtnegative Zahlen abbildet. Besteht der Vektorraum aus Matrizen , spricht man von Matrixnormen . Matrixnormen verhalten sich in gewisser Weise ähnlich wie der Abstand von der Nullmatrix . Sie unterscheiden sich von allgemeinen Normen dadurch, dass sie in gewisser Hinsicht auch mit der Matrixmultiplikation interagieren .
Es lassen sich viele spezifische Matrixnormen definieren. Die meisten von ihnen ergeben sich aus den folgenden drei Perspektiven, obwohl unterschiedliche Perspektiven manchmal zur gleichen Norm führen können.
- Betrachtet man die Matrix als linearen Operator , so kann eine Matrixnorm beschreiben, wie stark der Operator Vektoren strecken kann. Solche durch Vektornormen induzierten Matrixnormen werden Operatornormen genannt .
- Man kann sich die Matrix als rechteckiges Zahlenfeld vorstellen; dann lässt sich eine Matrixnorm als eine bestimmte Summe ihrer Einträge definieren. Solche Matrixnormen werden auch als „eintragsbezogene“ Normen bezeichnet .
- Die Singulärwertzerlegung ist nützlich zur Analyse von Matrizen. Die Vektornorm der Singulärwerte einer Matrix kann als Matrixnorm verwendet werden. Solche Normen werden Schattennormen genannt .
Matrixnormen werden oft durch doppelte senkrechte Striche mit optionalen Indizes (z. B. oder ) gekennzeichnet. Die Bedeutung des Index kann jedoch variieren, da Matrixnormen aus verschiedenen Perspektiven auf unterschiedliche Weise mit -Normen in Beziehung stehen .
| Betreibernormen | „Eintrittsnormen“ | Schattennormen | Auch bekannt als |
|---|---|---|---|
| induziert aus der -Norm | maximale Spaltensumme | ||
| -Norm (Summe der Singulärwerte) | nukleare Norm | ||
| Quadratwurzel der Summe der Quadrate | -Norm von Singularwerten | Frobeniusnorm | |
| induziert aus der -Norm | -Norm (der größte Singulärwert) | Spektralnorm | |
| induziert aus der -Norm | maximale Zeilensumme |
Vorbemerkungen
Gegeben sei ein Körper der reellen oder komplexen Zahlen (oder eine beliebige vollständige Teilmenge davon). Sei der K - Vektorraum der Matrizen mit Zeilen und Spalten und Einträgen im Körper . Eine Matrixnorm ist eine Norm auf .
Die Matrixnorm ist eine Funktion , die folgende Eigenschaften erfüllen muss: [ 1 ] [ 2 ]
Für alle Skalare und Matrizen
- ( positiv )
- ( definitiv )
- ( absolut homogen )
- ( subadditiv oder die Dreiecksungleichung erfüllend )
Das einzige Merkmal, das Matrizen von umgeordneten Vektoren unterscheidet, ist die Multiplikation . Matrixnormen sind besonders nützlich, wenn sie auch submultiplikativ sind : [ 1 ] [ 2 ] [ 3 ]
Jede Norm kann so umskaliert werden, dass sie submultiplikativ ist; in einigen Büchern wird der Begriff Matrixnorm für submultiplikative Normen verwendet. [ 4 ]
Mögliche Eigenschaften
Unitäre Invarianz
Eine Matrixnorm heißt unitär invariant, wenn für alle unitären Matrizen und Matrix , .
Eine symmetrische Eichfunktion ist eine absolute Vektornorm , sodass für jede Permutationsmatrix gilt:
- Nichtnegativität: , und genau dann, wenn .
- Positive Homogenität: für jede reelle Zahl .
- Dreiecksungleichung: .
- Symmetrie: für jede Permutationsmatrix .
Eine Norm heißt genau dann unitär invariante Matrixnorm, wenn sie eine symmetrische Eichfunktion auf dem Vektor der Singulärwerte ist. [ 4 ]
Konsistente und kompatible Normen
Eine Matrixnorm auf heißt konsistent mit einer Vektornorm auf und einer Vektornorm auf , wenn gilt: für alle und alle . Im Spezialfall m = n und heißt außerdem kompatibel mit .
Alle durch Vektornormen induzierten Matrixnormen sind per Definition konsistent. Außerdem induziert jede submultiplikative Matrixnorm auf eine kompatible Vektornorm auf , indem man definiert .
Monotone Normen
Eine Matrixnorm heißt monoton , wenn sie bezüglich der Loewner-Ordnung monoton ist . Demnach ist eine Matrixnorm steigend, wenn sie monoton mit der Loewner-Ordnung konvergiert.
Die Frobeniusnorm und die Spektralnorm sind Beispiele für monotone Normen. [ 5 ]
Matrixnormen, die durch Vektornormen induziert werden
Seien eine Vektornorm auf und eine Vektornorm auf gegeben. Jede Matrix A induziert einen linearen Operator von nach bezüglich der Standardbasis. Die entsprechende induzierte Norm ( Operatornorm oder Subordinalnorm) auf dem Raum aller Matrizen ist wie folgt definiert: wobei das Supremum bezeichnet. Diese Norm misst , wie stark die durch induzierte Abbildung Vektoren strecken kann. Abhängig von den verwendeten Vektornormen kann für die Operatornorm eine andere Notation als verwendet werden.
Matrixnormen, die durch Vektor- p -Normen induziert werden
Wird die p -Norm für Vektoren ( ) für beide Räume verwendet , so ergibt sich die entsprechende Operatornorm zu: [ 2 ] Diese induzierten Normen unterscheiden sich von den unten behandelten „elementweisen“ p- Normen und den Schatten- p- Normen für Matrizen, die üblicherweise ebenfalls mit bezeichnet werden.
Geometrisch betrachtet kann man sich eine Einheitskugel mit p -Norm in vorstellen und die lineare Abbildung auf diese Kugel anwenden. Sie würde dann zu einer verzerrten konvexen Form werden , und der längste „Radius“ dieser verzerrten konvexen Form wird gemessen. Anders ausgedrückt: Wir müssen eine Einheitskugel mit p -Norm in nehmen und sie dann mit mindestens multiplizieren , damit sie groß genug ist, um zu enthalten .
p = 1 oder ∞
Wenn wir einfache Formeln haben.
Dies ist einfach die maximale absolute Spaltensumme der Matrix. Dies ist einfach die maximale absolute Zeilensumme der Matrix.
Zum Beispiel haben wir Folgendes:
Spektralnorm ( p = 2)
Wenn die euklidische Norm ( bzw. -Norm für Vektoren) verwendet wird, ist die induzierte Matrixnorm die Spektralnorm . Die Spektralnorm ist nicht mit dem Spektralradius zu verwechseln . Die beiden Werte stimmen in unendlichen Dimensionen nicht überein – siehe Spektralradius für weitere Erläuterungen. Die Spektralnorm einer Matrix ist der größte Singulärwert von , d. h. die Quadratwurzel des größten Eigenwerts der Matrix , wobei die konjugiert Transponierte von bezeichnet : [ 6 ] wobei den größten Singulärwert der Matrix darstellt.
Es gibt weitere Eigenschaften:
- Bewiesen durch die Cauchy-Schwarz-Ungleichung .
- . Bewiesen durch Singulärwertzerlegung (SVD) auf .
- , wobei die Frobeniusnorm ist . Gleichheit gilt genau dann, wenn die Matrix eine Matrix vom Rang eins oder eine Nullmatrix ist.
- Umgekehrt gilt: .
- Die
Matrixnormen, die durch Vektor -α- und -β -Normen induziert werden
Wir können die obige Definition verallgemeinern. Angenommen, wir haben Vektornormen und für Räume bzw. ; die entsprechende Operatornorm ist . Insbesondere ist die zuvor definierte Norm der Spezialfall von .
In den Spezialfällen und können die induzierten Matrixnormen durch berechnet werden, wobei die i-te Zeile der Matrix ist .
In den Spezialfällen und können die induzierten Matrixnormen durch berechnet werden, wobei die j-te Spalte der Matrix ist .
Daher sind und die maximale Zeilen- bzw. Spaltennorm der Matrix.
Eigenschaften
Jede Operatornorm ist konsistent mit den Vektornormen, die sie induzieren, und ergibt
Seien ; ; und Operatornormen, die durch die jeweiligen Paare von Vektornormen ; ; und induziert werden . Dann gilt:
Dies folgt aus und
Quadratische Matrizen
Sei eine Operatornorm auf dem Raum der quadratischen Matrizen, die durch Vektornormen und induziert wird . Dann ist die Operatornorm eine submultiplikative Matrixnorm:
Darüber hinaus erfüllt jede solche Norm die Ungleichung
| 1 |
Für alle positiven ganzen Zahlen r gilt ρ ( A ) , wobei ρ (A ) der Spektralradius von A ist . Für symmetrische oder hermitesche Matrizen A gilt Gleichung ( 1 ) für die 2-Norm, da diese in diesem Fall genau dem Spektralradius von A entspricht . Für beliebige Matrizen kann die Gleichheit für keine Norm gelten; ein Gegenbeispiel wäre eine Matrix mit verschwindendem Spektralradius. In jedem Fall gilt für jede Matrixnorm die Formel für den Spektralradius :
Energienormen
Sind die Vektornormen und durch Energienormen basierend auf symmetrischen positiv definiten Matrizen bzw. gegeben , so ergibt sich die resultierende Operatornorm wie folgt:
Unter Verwendung der symmetrischen Matrixquadratwurzeln von bzw. kann die Operatornorm als Spektralnorm einer modifizierten Matrix ausgedrückt werden:
„Eintragsweise“ Matrixnormen
Diese Normen behandeln eine Matrix als Vektor der Größe n und verwenden eine der bekannten Vektornormen. Beispielsweise erhalten wir bei Verwendung der p -Norm für Vektoren mit p ≥ 1 :
Dies ist eine andere Norm als die induzierte p -Norm (siehe oben) und die Schatten -p- Norm (siehe unten), aber die Notation ist dieselbe.
Der Spezialfall p = 2 ist die Frobeniusnorm, und p = ∞ ergibt die Maximumnorm.
L 2,1- und L p,q- Normen
Sei die Dimension m Spalten der Matrix . Gemäß der ursprünglichen Definition repräsentiert die Matrix n Datenpunkte in einem m- dimensionalen Raum. Die Norm [ 7 ] ist die Summe der euklidischen Normen der Spalten der Matrix:
Die Norm als Fehlerfunktion ist robuster, da der Fehler für jeden Datenpunkt (eine Spalte) nicht quadriert wird. Sie wird in der robusten Datenanalyse und beim Sparse Coding verwendet .
Für p , q ≥ 1 kann die Norm wie folgt verallgemeinert werden :
Frobeniusnorm
Wenn p = q = 2 für die Norm gilt, wird sie als Frobeniusnorm oder Hilbert-Schmidt-Norm bezeichnet , wobei letztere Bezeichnung häufiger im Kontext von Operatoren auf (möglicherweise unendlichdimensionalen) Hilberträumen verwendet wird . Diese Norm kann auf verschiedene Weisen definiert werden:
Die Spur ist die Summe der Diagonalelemente, und sind die Singulärwerte von . Die zweite Gleichheit wird durch explizite Berechnung von bewiesen . Die dritte Gleichheit wird durch Singulärwertzerlegung von und der Tatsache bewiesen, dass die Spur invariant unter zyklischen Verschiebungen ist.
Die Frobeniusnorm ist eine Erweiterung der euklidischen Norm auf den Raum aller Matrizen und leitet sich vom Frobenius-Skalarprodukt auf dem Raum aller Matrizen ab.
Die Frobeniusnorm ist submultiplikativ und sehr nützlich für die numerische lineare Algebra . Die Submultiplikativität der Frobeniusnorm lässt sich mithilfe der Cauchy-Schwarz-Ungleichung beweisen . Tatsächlich ist sie sogar mehr als submultiplikativ, da die Operatornorm …
Die Frobeniusnorm ist oft einfacher zu berechnen als induzierte Normen und besitzt die nützliche Eigenschaft, invariant unter Rotationen (und allgemein unitären Operationen) zu sein. Das heißt, für jede unitäre Matrix . Diese Eigenschaft folgt aus der zyklischen Natur der Spur ( ):
und analog dazu:
wobei wir die unitäre Natur von (das heißt, ) genutzt haben .
Es erfüllt auch
Und
wobei das Frobenius-Skalarprodukt ist und Re der Realteil einer komplexen Zahl (für reelle Matrizen irrelevant).
Maximale Norm
Die Maxnorm ist die elementweise Norm im Grenzwert, wenn p = q gegen unendlich strebt:
Diese Norm ist nicht submultiplikativ ; aber durch Modifizierung der rechten Seite wird sie es.
Zu beachten ist, dass in einigen Publikationen (wie z. B. Communication complexity ) eine alternative Definition der Max-Norm, auch -Norm genannt, verwendet wird, die sich auf die Faktorisierungsnorm bezieht:
Schattennormen
Die Schatten -p -Normen entstehen durch Anwendung der p -Norm auf den Vektor der Singulärwerte einer Matrix. [ 2 ] Bezeichnet man die Singulärwerte der Matrix mit σ<sub> i</sub> , so ist die Schatten- p -Norm definiert durch
Diese Normen teilen zwar die Notation mit den induzierten und den entrywise p- Normen, sind aber dennoch unterschiedlich.
Alle Schattennormen sind submultiplikativ. Sie sind außerdem unitär invariant, was bedeutet, dass für alle Matrizen und alle unitären Matrizen und gilt .
Die bekanntesten Fälle sind p = 1, 2, ∞. Der Fall p = 2 liefert die bereits eingeführte Frobeniusnorm. Der Fall p = ∞ liefert die Spektralnorm, die Operatornorm, die durch die Vektor-2-Norm induziert wird (siehe oben). Schließlich liefert p = 1 die Nuklearnorm (auch bekannt als Spurnorm oder Ky-Fan -'n'-Norm [ 8 ] ), definiert als:
Dabei bezeichnet eine positiv semidefinite Matrix mit . Genauer gesagt, da eine positiv semidefinite Matrix ist , ist ihre Quadratwurzel wohldefiniert. Die Nuklearnorm ist eine konvexe Hülle der Rangfunktion und wird daher häufig in der mathematischen Optimierung zur Suche nach Matrizen niedrigen Rangs verwendet.
Die Kombination der Spurungleichung von Neumann mit der Hölder-Ungleichung für den euklidischen Raum ergibt eine Version der Hölder-Ungleichung für Schattennormen für :
Dies impliziert insbesondere die Schattennorm-Ungleichung
Kürzungsnormen
Eine weitere Inspirationsquelle für Matrixnormen ergibt sich aus der Betrachtung einer Matrix als Adjazenzmatrix eines gewichteten , gerichteten Graphen . [ 9 ] Die sogenannte „Schnittnorm“ misst, wie nahe der zugehörige Graph an der Bipartitheit liegt : wobei A ∈ K <sup>m × n </sup> . [ 9 ] [ 10 ] [ 11 ] Äquivalente Definitionen (bis auf einen konstanten Faktor) fordern die Bedingungen 2| S | > n & 2| T | > m ; S = T ; oder S ∩ T = ∅ . [ 10 ]
Die Schnittnorm ist äquivalent zur induzierten Operatornorm ‖·‖ ∞→1 , welche wiederum äquivalent zu einer anderen Norm ist, der sogenannten Grothendieck- Norm. [ 11 ]
Um die Grothendieck - Norm zu definieren, ist zunächst festzuhalten, dass ein linearer Operator K₁ → K₁ ein Skalar ist und sich somit zu einem linearen Operator auf jedem Kₖ → Kₖ erweitern lässt . Weiterhin lässt sich , bei beliebiger Wahl einer Basis für Kₙ und Kₘ , jeder lineare Operator Kₙ → Kₘ zu einem linearen Operator ( Kₖ ) ₙ → ( Kₖ ) ₘ erweitern, indem man jedes Matrixelement mittels Skalarmultiplikation mit Elementen von Kₖ multipliziert . Die Grothendieck - Norm ist die Norm dieses erweiterten Operators; symbolisch: [ 11 ]
Die Grothendieck-Norm hängt von der Wahl der Basis (üblicherweise wird die Standardbasis verwendet ) und von k ab .
Äquivalenz der Normen
Für beliebige Matrixnormen und gilt:
Für positive Zahlen r und s gilt dies für alle Matrizen . Anders ausgedrückt: Alle Normen auf sind äquivalent ; sie induzieren dieselbe Topologie auf . Dies ist wahr, da der Vektorraum endliche Dimension hat .
Darüber hinaus existiert zu jeder Matrixnorm auf genau einer positiven reellen Zahl , sodass für jedes eine submultiplikative Matrixnorm ist ; nämlich
Eine submultiplikative Matrixnorm heißt minimal , wenn es keine andere submultiplikative Matrixnorm gibt, die die Bedingung erfüllt .
Beispiele für Normäquivalenz
Wir beziehen uns erneut auf die durch die Vektor -p -Norm induzierte Norm (wie oben im Abschnitt Induzierte Norm).
Für eine Matrix vom Rang gelten die folgenden Ungleichungen: [ 12 ] [ 13 ]
Siehe auch
Anmerkungen
- Die Bedingung gilt nur , wenn das Produkt definiert ist, wie beispielsweise im Fall quadratischer Matrizen (). Allgemeiner muss die Multiplikation der Matrizen möglich sein;außerdemdie beiden Normenundentweder die gleichen Definitionen haben und sich nur in den Matrixdimensionen unterscheiden oder zwei verschiedene Arten von Normen darstellen, die dennoch „konsistent“ sind (siehe unten).
Referenzen
- ^ a b Weisstein, Eric W. „Matrixnorm“ . mathworld.wolfram.com . Abgerufen am 24.08.2020 .
- ^ a b c d „Matrixnormen“ . fourier.eng.hmc.edu . Abgerufen am 24.08.2020 .
- ^ Malek-Shahmirzadi, Massoud (1983). „Eine Charakterisierung bestimmter Klassen von Matrixnormen“. Linear and Multilinear Algebra . 13 (2): 97–99 . doi : 10.1080/03081088308817508 . ISSN 0308-1087 .
- ^ a b Horn, Roger A. (2012). Matrixanalyse . Johnson, Charles R. (2. Aufl.). Cambridge, UK: Cambridge University Press. S. 340–341 . ISBN 978-1-139-77600-4OCLC 817236655 .
- ^ Ciarlet, Philippe G. (1989). Einführung in die numerische lineare Algebra und Optimierung . Cambridge, England: Cambridge University Press. S. 57. ISBN 0521327881Die
- ^ Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, §5.2, S. 281, Society for Industrial & Applied Mathematics, Juni 2000.
- ^ Ding, Chris; Zhou, Ding; He, Xiaofeng; Zha, Hongyuan (Juni 2006). R1-PCA: Rotationsinvariante L1-Norm-Hauptkomponentenanalyse für robuste Unterraumfaktorisierung . 23. Internationale Konferenz über Maschinelles Lernen. ICML '06. Pittsburgh, PA: Association for Computing Machinery . S. 281–288 . doi : 10.1145/1143844.1143880 . ISBN 1-59593-383-2Die
- ^ Fan, Ky. (1951). „Maximum properties and inequalities for the eigenvalues of completely continuous operators“ . Proceedings of the National Academy of Sciences of the United States of America . 37 (11): 760–766 . Bibcode : 1951PNAS...37..760F . doi : 10.1073 / pnas.37.11.760 . PMC 1063464. PMID 16578416 .
- ^ a b Frieze, Alan; Kannan, Ravi (1999-02-01). „Quick Approximation to Matrices and Applications“ . Combinatorica . 19 (2): 175–220 . doi : 10.1007/s004930050052 . ISSN 1439-6912 . S2CID 15231198 .
- ^ a b Lovász László (2012). „Die Schnittdistanz“. Große Netzwerke und Graphgrenzen . AMS Colloquium Publications. Band 60. Providence, RI: American Mathematical Society. S. 127–131 . ISBN 978-0-8218-9085-1Die Beachten Sie, dass Lovász ‖ A ‖ □ so umskaliert , dass es in [0, 1] liegt .
- ^ a b c Alon, Noga ; Naor, Assaf (13.06.2004). „Approximation der Schnittnorm mittels der Grothendieckschen Ungleichung“ . Proceedings of the thirty-sixth annual ACM symposium on Theory of computing . STOC '04. Chicago, IL, USA: Association for Computing Machinery. S. 72–80 . doi : 10.1145/1007352.1007371 . ISBN 978-1-58113-852-8S2CID 1667427 .
- ^ Golub, Gene ; Charles F. Van Loan (1996). Matrix Computations – Third Edition. Baltimore: The Johns Hopkins University Press, 56–57. ISBN 0-8018-5413-XDie
- ^ Roger Horn und Charles Johnson. Matrix Analysis, Kapitel 5, Cambridge University Press, 1985. ISBN 0-521-38632-2Die
Bibliographie
- James W. Demmel , Angewandte numerische lineare Algebra, Abschnitt 1.7, veröffentlicht von SIAM, 1997.
- Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, veröffentlicht von SIAM, 2000. [1]
- John Watrous , Theorie der Quanteninformation, 2.3 Normen von Operatoren , Vorlesungsskript, Universität Waterloo, 2011.
- Kendall Atkinson , Einführung in die Numerische Analysis, erschienen bei John Wiley & Sons, Inc. 1989