Hilbert-Projektionssatz

In der Mathematik ist der Hilbertsche Projektionssatz ein bekanntes Ergebnis der Konvexanalysis. Er besagt, dass es zu jedem Vektor in einem Hilbertraum und jeder nichtleeren abgeschlossenen konvexen Menge genau einen Vektor gibt, für den die Funktion über die Vektoren minimiert wird ; das heißt, sodass für jeden Vektor gilt:${\displaystyle x}$${\displaystyle H}$${\displaystyle C\subseteq H,}$${\displaystyle m\in C}$${\displaystyle \|cx\|}$${\displaystyle c\in C}$${\displaystyle \|mx\|\leq \|cx\|}$${\displaystyle c\in C.}$

Ein gewisses intuitives Verständnis des Theorems lässt sich durch Betrachtung der Bedingung erster Ordnung des Optimierungsproblems gewinnen.

Betrachten wir einen endlichdimensionalen reellen Hilbertraum mit einem Unterraum und einem Punkt. Wenn ein Minimum der durch definierten Funktion ist (was mit dem Minimum von übereinstimmt ), dann muss die Ableitung an dieser Stelle null sein .${\displaystyle H}$${\displaystyle C}$${\displaystyle x.}$${\displaystyle m\in C}$${\displaystyle N:C\to \mathbb {R} }$${\displaystyle N(c):=\|cx\|}$${\displaystyle c\mapsto \|cx\|^{2}}$${\displaystyle m.}$

In der Notation der Matrixableitung: ^{[ 1 ]} Da ein Vektor in ist, der eine beliebige Tangentenrichtung darstellt, folgt daraus, dass orthogonal zu jedem Vektor in sein muss.$${\displaystyle {\begin{aligned}\partial \lVert xc\rVert ^{2}&=\partial \langle cx,cx\rangle \\&=2\langle cx,\partial c\rangle \end{aligned}}}$$${\displaystyle \partial c}$${\displaystyle C}$${\displaystyle mx}$${\displaystyle C.}$

Beweis für die Existenz eines Minimums${\displaystyle y}$

Sei der Abstand zwischen und eine Folge in , so dass das Quadrat des Abstands zwischen und kleiner oder gleich ist. Seien und zwei ganze Zahlen, dann gelten die folgenden Gleichungen: und . Daher (Diese Gleichung ist die gleiche wie die Formel für die Länge einer Seitenhalbierenden in einem Dreieck mit Seiten der Länge und , wobei die Eckpunkte des Dreiecks sind ). ${\displaystyle \delta :=\inf _{c\in C}\|xc\|}$${\displaystyle x}$${\displaystyle C,}$${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$${\displaystyle C}$${\displaystyle x}$${\displaystyle c_{n}}$${\displaystyle \delta ^{2}+1/n.}$${\displaystyle n}$${\displaystyle m}$$${\displaystyle \left\|c_{n}-c_{m}\right\|^{2}=\left\|c_{n}-x\right\|^{2}+\left\|c_{m}-x\right\|^{2}-2\left\langle c_{n}-x\,,\,c_{m}-x\right\rangle }$$$${\displaystyle 4\left\|{\frac {c_{n}+c_{m}}{2}}-x\right\|^{2}=\left\|c_{n}-x\right\|^{2}+\left\|c_{m}-x\right\|^{2}+2\left\langle c_{n}-x\,,\,c_{m}-x\right\rangle }$$$${\displaystyle \left\|c_{n}-c_{m}\right\|^{2}=2\left\|c_{n}-x\right\|^{2}+2\left\|c_{m}-x\right\|^{2}-4\left\|{\frac {c_{n}+c_{m}}{2}}-x\right\|^{2}}$$${\displaystyle a^{2}=2b^{2}+2c^{2}-4M_{a}^{2}}$${\displaystyle M_{a}}$${\displaystyle a,b,}$${\displaystyle c,}$${\displaystyle x,c_{m},c_{n}}$

Indem man den ersten beiden Termen der Gleichung eine obere Schranke gibt und feststellt, dass der Mittelpunkt von und zu gehört und daher einen Abstand von größer oder gleich hat, folgt daraus :${\displaystyle c_{n}}$${\displaystyle c_{m}}$${\displaystyle C}$${\displaystyle \delta }$${\displaystyle x,}$$${\displaystyle \|c_{n}-c_{m}\|^{2}\;\leq \;2\left(\delta ^{2}+{\frac {1}{n}}\right)+2\left(\delta ^{2}+{\frac {1}{m}}\right)-4\delta ^{2}=2\left({\frac {1}{n}}+{\frac {1}{m}}\right)}$$

Die letzte Ungleichung beweist, dass es sich um eine Cauchy-Folge handelt . Da vollständig ist, konvergiert die Folge daher gegen einen Punkt, dessen Abstand von minimal ist. ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$${\displaystyle C}$${\displaystyle m\in C,}$${\displaystyle x}$${\displaystyle \blacksquare }$

Der Beweis dafür, dass es einzigartig ist${\displaystyle m}$

Seien und zwei Minimalpunkte . Dann gilt: ${\displaystyle m_{1}}$${\displaystyle m_{2}}$$${\displaystyle \|m_{2}-m_{1}\|^{2}=2\|m_{1}-x\|^{2}+2\|m_{2}-x\|^{2}-4\left\|{\frac {m_{1}+m_{2}}{2}}-x\right\|^{2}}$$

Da gehört zu, haben wir und daher ${\displaystyle {\frac {m_{1}+m_{2}}{2}}}$${\displaystyle C,}$${\displaystyle \left\|{\frac {m_{1}+m_{2}}{2}}-x\right\|^{2}\geq \delta ^{2}}$$${\displaystyle \|m_{2}-m_{1}\|^{2}\leq 2\delta ^{2}+2\delta ^{2}-4\delta ^{2}=0.}$$

Daraus ergibt sich die Einzigartigkeit. ${\displaystyle m_{1}=m_{2},}$${\displaystyle \blacksquare }$

Beweis der Charakterisierung des Minimums, wenn es sich um einen abgeschlossenen Vektorunterraum handelt${\displaystyle C}$

Sei ein abgeschlossener Vektorunterraum von . Es muss gezeigt werden, dass der Minimierer das eindeutige Element in ist, sodass für jedes${\displaystyle C}$${\displaystyle H.}$${\displaystyle m}$${\displaystyle C}$${\displaystyle \langle m-x,c\rangle =0}$${\displaystyle c\in C.}$

Beweis, dass die Bedingung hinreichend ist: Sei so, dass für alle gilt. Wenn dann und somit , woraus folgt, dass . Da beliebig war, beweist dies, dass und somit ein Minimum ist. ${\displaystyle z\in C}$${\displaystyle \langle z-x,c\rangle =0}$${\displaystyle c\in C.}$${\displaystyle c\in C}$${\displaystyle c-z\in C}$$${\displaystyle \|c-x\|^{2}=\|(z-x)+(c-z)\|^{2}=\|z-x\|^{2}+\|c-z\|^{2}+2\langle z-x,c-z\rangle =\|z-x\|^{2}+\|c-z\|^{2}}$$${\displaystyle \|z-x\|^{2}\leq \|c-x\|^{2}.}$${\displaystyle c\in C}$${\displaystyle \|z-x\|=\inf _{c\in C}\|c-x\|}$${\displaystyle z}$

Beweis für die Notwendigkeit der Bedingung: Sei der Minimalpunkt. Sei und . Da die Minimalität von garantiert, dass , ist stets nichtnegativ und muss eine reelle Zahl sein. Falls , dann hat die Abbildung ein Minimum bei und außerdem , was ein Widerspruch ist.${\displaystyle m\in C}$${\displaystyle c\in C}$${\displaystyle t\in \mathbb {R} .}$${\displaystyle m+tc\in C,}$${\displaystyle m}$${\displaystyle \|m-x\|\leq \|(m+tc)-x\|.}$$${\displaystyle \|(m+tc)-x\|^{2}-\|m-x\|^{2}=2t\langle m-x,c\rangle +t^{2}\|c\|^{2}}$$${\displaystyle \langle m-x,c\rangle }$${\displaystyle \langle m-x,c\rangle \neq 0}$${\displaystyle f(t):=2t\langle m-x,c\rangle +t^{2}\|c\|^{2}}$${\displaystyle t_{0}:=-{\frac {\langle m-x,c\rangle }{\|c\|^{2}}}}$${\displaystyle f\left(t_{0}\right)<0,}$${\displaystyle \langle m-x,c\rangle =0.}$${\displaystyle \blacksquare }$

Es genügt, den Satz im Fall von zu beweisen, da der allgemeine Fall aus der folgenden Aussage folgt, indem man durch ersetzt.${\displaystyle x=0}$${\displaystyle C}$${\displaystyle C-x.}$

Nachweisen

Sei wie in diesem Theorem beschrieben und sei . Dieser Satz folgt aus den folgenden Lemmata. ${\displaystyle C}$$${\displaystyle d:=\inf _{c\in C}\|c\|.}$$

Lemma 1 — Wenn es eine beliebige Folge in gibt , sodass in , dann existiert ein solches , dass in . Außerdem gilt:${\displaystyle c_{\bullet }:=\left(c_{n}\right)_{n=1}^{\infty }}$${\displaystyle C}$${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=d}$${\displaystyle \mathbb {R} }$${\displaystyle c\in C}$${\displaystyle \lim _{n\to \infty }c_{n}=c}$${\displaystyle H.}$${\displaystyle \|c\|=d.}$

Beweis von Lemma 1

Da konvex ist, gilt: Wenn , dann , sodass nach Definition des Infimums gilt, was impliziert, dass . Nach dem Parallelogrammgesetz gilt , wobei nun impliziert und somit . Die Annahme impliziert, dass die rechte Seite (RHS) der obigen Ungleichung beliebig nahe an gebracht werden kann, indem und hinreichend groß gewählt werden. [ Anmerkung 2 ] Dasselbe muss folglich auch für die linke Seite der Ungleichung und somit auch für gelten , woraus folgt, dass eine Cauchy-Folge in ist.${\displaystyle C}$${\displaystyle m,n\in \mathbb {N} }$${\displaystyle {\frac {1}{2}}\left(c_{m}+c_{n}\right)\in C}$${\displaystyle d\leq \left\|{\frac {1}{2}}\left(c_{m}+c_{n}\right)\right\|,}$${\displaystyle 4d^{2}\leq \left\|c_{m}+c_{n}\right\|^{2}.}$$${\displaystyle \left\|c_{m}+c_{n}\right\|^{2}+\left\|c_{m}-c_{n}\right\|^{2}=2\left\|c_{m}\right\|^{2}+2\left\|c_{n}\right\|^{2}}$$${\displaystyle 4d^{2}\leq \left\|c_{m}+c_{n}\right\|^{2}}$$${\displaystyle 4d^{2}+\left\|c_{m}-c_{n}\right\|^{2}~\leq ~2\left\|c_{m}\right\|^{2}+2\left\|c_{n}\right\|^{2}}$$$${\displaystyle {\begin{alignedat}{4}\left\|c_{m}-c_{n}\right\|^{2}~\leq ~2\left\|c_{m}\right\|^{2}+2\left\|c_{n}\right\|^{2}-4d^{2}\end{alignedat}}}$$${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=d}$${\displaystyle 0}$${\displaystyle m}$${\displaystyle n}$${\displaystyle \left\|c_{m}-c_{n}\right\|^{2}}$${\displaystyle \left\|c_{m}-c_{n}\right\|,}$${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$${\displaystyle H.}$ Da vollständig ist, existiert ein solches, dass in . Da jedes zu gehört, was eine abgeschlossene Teilmenge von ist , muss auch ihr Grenzwert zu dieser abgeschlossenen Teilmenge gehören, was beweist, dass . Da die Norm eine stetige Funktion ist, impliziert in , dass in . Aber es gilt auch (nach Annahme), sodass (weil Grenzwerte in eindeutig sind). ${\displaystyle H}$${\displaystyle c\in H}$${\displaystyle \lim _{n\to \infty }c_{n}=c}$${\displaystyle H.}$${\displaystyle c_{n}}$${\displaystyle C,}$${\displaystyle H,}$${\displaystyle c}$${\displaystyle c\in C.}$${\displaystyle \|\,\cdot \,\|:H\to \mathbb {R} }$${\displaystyle \lim _{n\to \infty }c_{n}=c}$${\displaystyle H}$${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=\|c\|}$${\displaystyle \mathbb {R} .}$${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=d}$${\displaystyle \|c\|=d}$${\displaystyle \mathbb {R} }$${\displaystyle \blacksquare }$

Lemma 2 — Es existiert eine Folge , die die Voraussetzungen von Lemma 1 erfüllt. ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$

Beweis von Lemma 2

Die Existenz der Folge folgt aus der Definition des Infimums , wie nun gezeigt wird. Die Menge ist eine nichtleere Teilmenge der nichtnegativen reellen Zahlen, und sei eine ganze Zahl. Da es ein gibt , sodass , gilt (nach Definition des Infimums). Somit folgt aus dem Sandwich-Theorem , dass in . (Dieser erste Teil des Beweises gilt für jede nichtleere Teilmenge von , für die endlich ist). ${\displaystyle S:=\{\|c\|:c\in C\}}$${\displaystyle d:=\inf _{c\in C}\|c\|=\inf S.}$${\displaystyle n\geq 1}$${\displaystyle \inf S<d+{\frac {1}{n}},}$${\displaystyle s_{n}\in S}$${\displaystyle s_{n}<d+{\frac {1}{n}}.}$${\displaystyle s_{n}\in S,}$${\displaystyle d=\inf S\leq s_{n}}$${\displaystyle d\leq s_{n}<d+{\frac {1}{n}}}$${\displaystyle \lim _{n\to \infty }s_{n}=d}$${\displaystyle \mathbb {R} .}$${\displaystyle S\subseteq \mathbb {R} }$${\displaystyle d:=\inf _{s\in S}s}$ Für jede Tatsache, dass dies bedeutet, dass es ein solches gibt, dass die Konvergenz in somit zu in wird${\displaystyle n\in \mathbb {N} ,}$${\displaystyle s_{n}\in S=\{\|c\|:c\in C\}}$${\displaystyle c_{n}\in C}$${\displaystyle s_{n}=\left\|c_{n}\right\|.}$${\displaystyle \lim _{n\to \infty }s_{n}=d}$${\displaystyle \mathbb {R} }$${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=d}$${\displaystyle \mathbb {R} .}$${\displaystyle \blacksquare }$

Lemma 2 und Lemma 1 beweisen gemeinsam die Existenz eines solchen , dass Lemma 1 verwendet werden kann, um die Eindeutigkeit wie folgt zu beweisen. Sei so, dass und bezeichne die Folge mit , sodass die Teilfolge mit geraden Indizes die konstante Folge ist, während die Teilfolge mit ungeraden Indizes die konstante Folge ist. Da für jedes in , was zeigt, dass die Folge die Voraussetzungen von Lemma 1 erfüllt. Lemma 1 garantiert die Existenz eines , sodass in . Da gegen konvergiert, konvergieren auch alle ihre Teilfolgen. Insbesondere konvergiert die Teilfolge gegen , woraus folgt, dass (weil die Grenzwerte in eindeutig sind und diese konstante Teilfolge ebenfalls gegen konvergiert ). Analog konvergiert die Teilfolge sowohl gegen als auch , was den Satz beweist.${\displaystyle c\in C}$${\displaystyle \|c\|=d.}$${\displaystyle b\in C}$${\displaystyle \|b\|=d}$$${\displaystyle b,c,b,c,b,c,\ldots }$$${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$${\displaystyle \left(c_{2n}\right)_{n=1}^{\infty }}$${\displaystyle c,c,c,\ldots }$${\displaystyle \left(c_{2n-1}\right)_{n=1}^{\infty }}$${\displaystyle b,b,b,\ldots .}$${\displaystyle \left\|c_{n}\right\|=d}$${\displaystyle n\in \mathbb {N} ,}$${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=\lim _{n\to \infty }d=d}$${\displaystyle \mathbb {R} ,}$${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$${\displaystyle x\in C}$${\displaystyle \lim _{n\to \infty }c_{n}=x}$${\displaystyle H.}$${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$${\displaystyle x,}$${\displaystyle c,c,c,\ldots }$${\displaystyle x,}$${\displaystyle x=c}$${\displaystyle H}$${\displaystyle c}$${\displaystyle x=b}$${\displaystyle b,b,b,\ldots }$${\displaystyle x}$${\displaystyle b.}$${\displaystyle b=c,}$${\displaystyle \blacksquare }$

Ausdruck als globales Minimum

Die Aussage und die Schlussfolgerung des Hilbertschen Projektionssatzes lassen sich mithilfe globaler Minima der folgenden Funktionen ausdrücken. Ihre Notation wird auch verwendet, um bestimmte Aussagen zu vereinfachen.

Gegeben sei eine nichtleere Teilmenge und eine Funktion . Ein globales Minimum von , falls ein solches existiert, ist jeder Punkt in , für den gilt, dass gleich dem globalen Minimalwert der Funktion ist, der wie folgt lautet: ${\displaystyle C\subseteq H}$${\displaystyle x\in H,}$$${\displaystyle d_{C,x}:C\to [0,\infty )\quad {\text{ by }}c\mapsto \|x-c\|.}$$${\displaystyle d_{C,x},}$${\displaystyle m}$${\displaystyle \,\operatorname {domain} d_{C,x}=C\,}$$${\displaystyle d_{C,x}(m)\,\leq \,d_{C,x}(c)\quad {\text{ for all }}c\in C,}$$${\displaystyle d_{C,x}(m)=\|m-x\|}$${\displaystyle d_{C,x},}$$${\displaystyle \inf _{c\in C}d_{C,x}(c)=\inf _{c\in C}\|x-c\|.}$$

Auswirkungen von Translationen und Skalierungen

Existiert dieser globale Minimalpunkt und ist er eindeutig, so bezeichnen wir ihn explizit mit . Die definierenden Eigenschaften von (falls er existiert) sind: Der Hilbertsche Projektionssatz garantiert die Existenz dieses eindeutigen Minimalpunkts, wenn eine nichtleere, abgeschlossene und konvexe Teilmenge eines Hilbertraums ist. Ein solcher Minimalpunkt kann jedoch auch in nichtkonvexen oder nichtabgeschlossenen Teilmengen existieren; beispielsweise gilt, solange nicht leer ist: Wenn dann${\displaystyle m}$${\displaystyle \min(C,x);}$${\displaystyle \min(C,x)}$$${\displaystyle \min(C,x)\in C\quad {\text{ and }}\quad \left\|x-\min(C,x)\right\|\leq \|x-c\|\quad {\text{ for all }}c\in C.}$$${\displaystyle C}$${\displaystyle C}$${\displaystyle x\in C}$${\displaystyle \min(C,x)=x.}$

Wenn eine nichtleere Teilmenge ist, ein beliebiger Skalar ist und beliebige Vektoren sind, dann folgt daraus: ${\displaystyle C\subseteq H}$${\displaystyle s}$${\displaystyle x,x_{0}\in H}$$${\displaystyle \,\min \left(sC+x_{0},sx+x_{0}\right)=s\min(C,x)+x_{0}}$$$${\displaystyle {\begin{alignedat}{6}\min &(sC,sx)&&=s&&\min(C,x)\\\min &(-C,-x)&&=-&&\min(C,x)\\\end{alignedat}}}$$$${\displaystyle {\begin{alignedat}{6}\min \left(C+x_{0},x+x_{0}\right)&=\min(C,x)+x_{0}\\\min \left(C-x_{0},x-x_{0}\right)&=\min(C,x)-x_{0}\\\end{alignedat}}}$$$${\displaystyle {\begin{alignedat}{6}\min &(C,-x){}&&=\min(C+x,0)-x\\\min &(C,0)\;+\;x\;\;\;\;&&=\min(C+x,x)\\\min &(C-x,0){}&&=\min(C,x)-x\\\end{alignedat}}}$$

Beispiele

Das folgende Gegenbeispiel zeigt einen stetigen linearen Isomorphismus, für den gilt: Sei das Skalarprodukt . Sei und für jede reelle Zahl die Gerade mit der Steigung durch den Ursprung, wobei leicht nachzuweisen ist, dass . Wähle eine reelle Zahl und definiere durch (diese Abbildung skaliert also die Koordinate um , während die Koordinate unverändert bleibt). Dann ist ein invertierbarer stetiger linearer Operator, der und erfüllt, sodass und . Folglich gilt: Wenn mit und wenn , dann${\displaystyle A:H\to H}$${\displaystyle \,\min(A(C),A(x))\neq A(\min(C,x)).}$${\displaystyle H:=\mathbb {R} ^{2}}$${\displaystyle x_{0}:=(0,1),}$${\displaystyle s\in \mathbb {R} ,}$${\displaystyle L_{s}:=\{(x,sx):x\in \mathbb {R} \}}$${\displaystyle s}$${\displaystyle \min \left(L_{s},x_{0}\right)={\frac {s}{1+s^{2}}}(1,s).}$${\displaystyle r\neq 0}$${\displaystyle A:\mathbb {R} ^{2}\to \mathbb {R} ^{2}}$${\displaystyle A(x,y):=(rx,y)}$${\displaystyle x-}$${\displaystyle r}$${\displaystyle y-}$${\displaystyle A:\mathbb {R} ^{2}\to \mathbb {R} ^{2}}$${\displaystyle A\left(L_{s}\right)=L_{s/r}}$${\displaystyle A\left(x_{0}\right)=x_{0},}$${\displaystyle \,\min \left(A\left(L_{s}\right),A\left(x_{0}\right)\right)={\frac {s}{r^{2}+s^{2}}}(1,s)}$${\displaystyle A\left(\min \left(L_{s},x_{0}\right)\right)={\frac {s}{1+s^{2}}}\left(r,s\right).}$${\displaystyle C:=L_{s}}$${\displaystyle s\neq 0}$${\displaystyle (r,s)\neq (\pm 1,1)}$${\displaystyle \,\min(A(C),A\left(x_{0}\right))\neq A\left(\min \left(C,x_{0}\right)\right).}$

Für jede abgeschlossene, konvexe, nichtleere Teilmenge sei die Projektionsfunktion. ${\displaystyle C\subset H}$${\displaystyle P_{C}:H\to C}$

Sind mehrere abgeschlossene konvexe Teilmengen vorhanden , lässt sich der Projektionsoperator approximieren, indem man die Operationen nacheinander anwendet und dies wiederholt. Das heißt, man kann als approximieren . Die Kaczmarz-Methode ist ein häufig verwendeter Spezialfall. Solche Methoden können recheneffizient sein. Ist beispielsweise eine komplizierte Form, kann die direkte Projektion auf schwierig sein. Sie lässt sich jedoch als Schnittmenge einfacher Objekte wie Halbräume , Hyperebenen , endlichdimensionale Unterräume oder Kegel approximieren . ^{[ 4 ]}${\displaystyle C_{1},C_{2},\dots ,C_{n}}$${\displaystyle P_{C_{1}\cap \dots \cap C_{n}}}$${\displaystyle P_{C_{1}},P_{C_{2}},\dots ,P_{C_{n}}}$${\displaystyle (P_{C_{n}}\dots P_{C_{2}}P_{C_{1}})^{k}\to P_{C_{1}\cap \dots \cap C_{n}}}$${\displaystyle k\to \infty }$${\displaystyle C}$${\displaystyle C}$${\displaystyle C}$

Ist ein abgeschlossener Unterraum, so ist er konvex. In diesem Fall ist die Projektionsfunktion eine orthogonale Projektion (ein stetiger linearer Operator, der selbstadjungiert ist). Ein klassischer Satz besagt, dass für abgeschlossene Unterräume gilt ^{[ 5 ].}${\displaystyle C}$${\displaystyle P:H\to C}$${\displaystyle C_{1},\dots ,C_{n}}$$${\displaystyle \lim _{k\to \infty }\|(P_{C_{1}}\cdots P_{C_{n}})^{k}x-P_{C_{1}\cap \dots \cap C_{n}}x\|=0,\quad \forall x\in H}$$

• Orthogonal complement – Concept in linear algebra
• Orthogonal projection – Idempotent linear transformation from a vector space to itselfPages displaying short descriptions of redirect targets
• Orthogonality principle – Condition for optimality of Bayesian estimator
• Riesz representation theorem – Theorem about the dual of a Hilbert space

• Rudin, Walter (1987). Real and Complex Analysis (Third ed.).
• Rudin, Walter (1991). Funktionalanalysis . Internationale Reihe für Reine und Angewandte Mathematik. Band 8 (2. Aufl.). New York, NY: McGraw-Hill Science/Engineering/Math . ISBN 978-0-07-054236-5OCLC  21163277 .​