Orthogonalitätsprinzip

In der Statistik und Signalverarbeitung ist das Orthogonalitätsprinzip eine notwendige und hinreichende Bedingung für die Optimalität eines Bayes'schen Schätzers . Vereinfacht ausgedrückt besagt es, dass der Fehlervektor des optimalen Schätzers (im Sinne des mittleren quadratischen Fehlers ) orthogonal zu jedem möglichen Schätzer ist. Das Orthogonalitätsprinzip wird üblicherweise für lineare Schätzer verwendet, jedoch sind auch allgemeinere Formulierungen möglich. Da es eine notwendige und hinreichende Bedingung für Optimalität darstellt, kann es zur Bestimmung des Schätzers mit dem minimalen mittleren quadratischen Fehler verwendet werden .

Das Orthogonalitätsprinzip findet am häufigsten Anwendung bei der linearen Schätzung. ^{[ 1 ]} Sei x ein unbekannter Zufallsvektor , der anhand des Beobachtungsvektors y geschätzt werden soll . Gesucht ist ein linearer Schätzer für eine Matrix H und einen Vektor c . Das Orthogonalitätsprinzip besagt, dass ein Schätzer genau dann den minimalen mittleren quadratischen Fehler erreicht , wenn … ${\displaystyle {\hat {x}}=Hy+c}$${\displaystyle {\hat {x}}}$

• ${\displaystyle \operatorname {E} \{({\hat {x}}-x)y^{T}\}=0,}$Und
• ${\displaystyle \operatorname {E} \{{\hat {x}}-x\}=0.}$

Wenn x und y den Mittelwert Null haben, dann genügt es, die erste Bedingung zu fordern.

Sei x eine normalverteilte Zufallsvariable mit Mittelwert m und Varianz σ². Weiterhin sei angenommen, dass wir einen Wert beobachten, wobei w ein von x unabhängiges, normalverteiltes Gaußsches Rauschen mit Mittelwert 0 und Varianz σ² ist. Wir möchten einen linearen Schätzer finden, der den mittleren quadratischen Fehler (MSE) minimiert. Durch Einsetzen des Ausdrucks in die beiden Voraussetzungen des Orthogonalitätsprinzips erhalten wir ${\displaystyle \sigma _{x}^{2}.}$${\displaystyle y=x+w,}$${\displaystyle \sigma _{w}^{2}.}$${\displaystyle {\hat {x}}=hy+c}$${\displaystyle {\hat {x}}=hy+c}$

${\displaystyle 0=\operatorname {E} \{({\hat {x}}-x)y\}}$

${\displaystyle 0=\operatorname {E} \{(hx+hw+c-x)(x+w)\}}$

${\displaystyle 0=h(\sigma _{x}^{2}+\sigma _{w}^{2})+hm^{2}+cm-\sigma _{x}^{2}-m^{2}}$

Und

${\displaystyle 0=\operatorname {E} \{{\hat {x}}-x\}}$

${\displaystyle 0=\operatorname {E} \{hx+hw+c-x\}}$

${\displaystyle 0=(h-1)m+c.}$

Das Auflösen dieser beiden linearen Gleichungen nach h und c ergibt

${\displaystyle h={\frac {\sigma _{x}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}},\quad c={\frac {\sigma _{w}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}m,}$

sodass der lineare Schätzer für den minimalen mittleren quadratischen Fehler gegeben ist durch

${\displaystyle {\hat {x}}={\frac {\sigma _{x}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}y+{\frac {\sigma _{w}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}m.}$

Dieser Schätzer kann als gewichteter Mittelwert zwischen den verrauschten Messwerten y und dem a priori erwarteten Wert m interpretiert werden . Ist die Rauschvarianz im Vergleich zur Varianz der a priori-Informationen gering (entsprechend einem hohen Signal-Rausch-Verhältnis ), so wird den Messwerten y das größte Gewicht beigemessen , da sie als zuverlässiger als die a priori-Informationen gelten. Ist die Rauschvarianz hingegen relativ hoch, so liegt der Schätzer nahe bei m , da die Messwerte nicht zuverlässig genug sind, um die a priori-Informationen zu übertreffen. ${\displaystyle \sigma _{w}^{2}}$${\displaystyle \sigma _{x}^{2}}$

Abschließend sei angemerkt, dass der Schätzer mit dem minimalen MSE linear ist, da die Variablen x und y gemeinsam gaußverteilt sind. ^{[ 2 ]} Daher minimiert der obige Schätzer in diesem Fall den MSE aller Schätzer, nicht nur der linearen.

Sei ein Hilbertraum von Zufallsvariablen mit einem durch definierten Skalarprodukt . Sei ein abgeschlossener Unterraum von , der den Raum aller möglichen Schätzer darstellt. Gesucht ist ein Vektor , der einen Vektor approximiert . Genauer gesagt, soll der mittlere quadratische Fehler (MSE) zwischen und minimiert werden . ${\displaystyle V}$${\displaystyle \langle x,y\rangle =\operatorname {E} \{x^{H}y\}}$${\displaystyle W}$${\displaystyle V}$${\displaystyle {\hat {x}}\in W}$${\displaystyle x\in V}$${\displaystyle \operatorname {E} \|x-{\hat {x}}\|^{2}}$${\displaystyle {\hat {x}}}$${\displaystyle x}$

Im oben beschriebenen Spezialfall linearer Schätzer ist der Raum die Menge aller Funktionen von und , während die Menge der linearen Schätzer, d. h. der linearen Funktionen von , darstellt . Weitere auf diese Weise formulierbare Fälle sind der Unterraum kausaler linearer Filter und der Unterraum aller (möglicherweise nichtlinearen) Schätzer. ${\displaystyle V}$${\displaystyle x}$${\displaystyle y}$${\displaystyle W}$${\displaystyle y}$

Geometrisch lässt sich dieses Problem anhand des folgenden einfachen Falls veranschaulichen, in dem es sich um einen eindimensionalen Unterraum handelt: ${\displaystyle W}$

Wir möchten die bestmögliche Annäherung an den Vektor durch einen Vektor im Raum finden . Aus geometrischer Sicht ist intuitiv ersichtlich, dass die beste Annäherung bzw. der kleinste Fehler dann auftritt, wenn der Fehlervektor orthogonal zu Vektoren im Raum ist . ${\displaystyle x}$${\displaystyle {\hat {x}}}$${\displaystyle W}$${\displaystyle e}$${\displaystyle W}$

Genauer gesagt besagt das allgemeine Orthogonalitätsprinzip Folgendes: Gegeben sei ein abgeschlossener Unterraum von Schätzern in einem Hilbertraum und ein Element aus diesem Unterraum . Ein Element erreicht genau dann den minimalen mittleren quadratischen Fehler (MSE) unter allen Elementen aus diesem Unterraum , wenn für alle Elemente in diesem Unterraum gilt:${\displaystyle W}$${\displaystyle V}$${\displaystyle x}$${\displaystyle V}$${\displaystyle {\hat {x}}\in W}$${\displaystyle W}$${\displaystyle \operatorname {E} \{(x-{\hat {x}})y^{T}\}=0}$${\displaystyle y\in W.}$

So formuliert, ist dieses Prinzip schlicht eine Aussage des Hilbertschen Projektionstheorems . Die weitverbreitete Anwendung dieses Ergebnisses in der Signalverarbeitung hat jedoch zu der Bezeichnung „Orthogonalitätsprinzip“ geführt.

Nachfolgend wird eine Möglichkeit zur Ermittlung des Schätzers mit dem minimalen mittleren quadratischen Fehler unter Verwendung des Orthogonalitätsprinzips beschrieben.

Wir möchten einen Vektor approximieren können durch ${\displaystyle x}$

${\displaystyle x={\hat {x}}+e\,}$

Wo

${\displaystyle {\hat {x}}=\sum _{i}c_{i}p_{i}}$

ist die Näherung von als Linearkombination von Vektoren im Unterraum, der von aufgespannt wird. Daher wollen wir die Koeffizienten, , bestimmen können , damit wir unsere Näherung in bekannten Termen schreiben können. ${\displaystyle x}$${\displaystyle W}$${\displaystyle p_{1},p_{2},\ldots .}$${\displaystyle c_{i}}$

Nach dem Orthogonalitätssatz wird die Quadratnorm des Fehlervektors minimiert, wenn für alle j gilt : ${\displaystyle \left\Vert e\right\Vert ^{2}}$

${\displaystyle \left\langle x-\sum _{i}c_{i}p_{i},p_{j}\right\rangle =0.}$

Durch Entwicklung dieser Gleichung erhalten wir

${\displaystyle \left\langle x,p_{j}\right\rangle =\left\langle \sum _{i}c_{i}p_{i},p_{j}\right\rangle =\sum _{i}c_{i}\left\langle p_{i},p_{j}\right\rangle .}$

Bei einer endlichen Anzahl von Vektoren lässt sich diese Gleichung in Matrixform schreiben als ${\displaystyle n}$${\displaystyle p_{i}}$

${\displaystyle {\begin{bmatrix}\left\langle x,p_{1}\right\rangle \\\left\langle x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle &\left\langle p_{2},p_{1}\right\rangle &\cdots &\left\langle p_{n},p_{1}\right\rangle \\\left\langle p_{1},p_{2}\right\rangle &\left\langle p_{2},p_{2}\right\rangle &\cdots &\left\langle p_{n},p_{2}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}{\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}.}$

Unter der Annahme, dass die linear unabhängig sind , kann die Gram-Matrix invertiert werden, um zu erhalten ${\displaystyle p_{i}}$

${\displaystyle {\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle &\left\langle p_{2},p_{1}\right\rangle &\cdots &\left\langle p_{n},p_{1}\right\rangle \\\left\langle p_{1},p_{2}\right\rangle &\left\langle p_{2},p_{2}\right\rangle &\cdots &\left\langle p_{n},p_{2}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}^{-1}{\begin{bmatrix}\left\langle x,p_{1}\right\rangle \\\left\langle x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}},}$

Damit wird ein Ausdruck für die Koeffizienten des Schätzers mit minimalem mittleren quadratischen Fehler geliefert. ${\displaystyle c_{i}}$

• Minimaler mittlerer quadratischer Fehler
• Hilbert-Projektionssatz

• Kay, SM (1993). Grundlagen der statistischen Signalverarbeitung: Schätztheorie . Prentice Hall. ISBN 0-13-042268-1Die
• Moon, Todd K. (2000). Mathematische Methoden und Algorithmen für die Signalverarbeitung . Prentice-Hall. ISBN 0-201-36186-8Die