Nichtlineare Regression

In der Statistik ist die nichtlineare Regression eine Form der Regressionsanalyse, bei der Beobachtungsdaten durch eine Funktion modelliert werden, die eine nichtlineare Kombination der Modellparameter darstellt und von einer oder mehreren unabhängigen Variablen abhängt. Die Daten werden mittels sukzessiver Approximationen (Iterationen) angepasst.

Bei der nichtlinearen Regression wird ein statistisches Modell der Form verwendet:

$${\displaystyle \mathbf {y} \sim f(\mathbf {x} ,{\boldsymbol {\beta }})}$$

Die Funktion verknüpft einen Vektor unabhängiger Variablen , , mit den zugehörigen beobachteten abhängigen Variablen , . Die Funktion ist nichtlinear in den Komponenten des Parametervektors , ansonsten aber beliebig. Beispielsweise besitzt das Michaelis-Menten- Modell für die Enzymkinetik zwei Parameter und eine unabhängige Variable, die durch folgende Gleichung verknüpft sind : ^{[ a ]}${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle f}$${\displaystyle \beta }$${\displaystyle f}$

$${\displaystyle f(x,{\boldsymbol {\beta }})={\frac {\beta _{1}x}{\beta _{2}+x}}}$$

Diese Funktion, die eine rechteckige Hyperbel ist, ist nichtlinear, da sie nicht als Linearkombination der beiden s ausgedrückt werden kann. ${\displaystyle \beta }$

Systematische Fehler in den unabhängigen Variablen können vorhanden sein, ihre Behandlung fällt jedoch nicht in den Rahmen der Regressionsanalyse. Sind die unabhängigen Variablen nicht fehlerfrei, handelt es sich um ein Fehler-in-den-Variablen-Modell , das ebenfalls nicht Gegenstand dieser Analyse ist.

Weitere Beispiele für nichtlineare Funktionen sind Exponentialfunktionen , Logarithmusfunktionen , trigonometrische Funktionen , Potenzfunktionen , die Gauß-Funktion und Lorentz-Verteilungen . Einige Funktionen, wie beispielsweise Exponential- oder Logarithmusfunktionen, lassen sich so transformieren, dass sie linear werden. Nach dieser Transformation kann eine Standard-Linearregression durchgeführt werden, die jedoch mit Vorsicht anzuwenden ist. Weitere Details finden Sie im Abschnitt „Linearisierung“ §§ „Transformation“ weiter unten. In der Mikrobiologie und Biotechnologie wird die nichtlineare Regression zur Modellierung komplexer mikrobieller Wachstumskinetiken eingesetzt. Während einfaches Wachstum monoauxischen Funktionen (wie dem Gompertz- oder Boltzmann-Modell) folgt, wird mehrphasiges (polyauxisches) Wachstum mithilfe linearer Kombinationen dieser nichtlinearen Funktionen modelliert. Die Parameterschätzung für diese komplexen Modelle erfordert häufig robuste Regressionsverfahren (z. B. die Verwendung einer Lorentz-Verlustfunktion zur Abschwächung von Ausreißern) und globale Optimierungsalgorithmen (wie die differentielle Evolution mit L-BFGS-B ), um lokale Minima zu vermeiden und biologisch interpretierbare Ergebnisse zu gewährleisten. ^{[ 1 ] [ 2 ]}

Im Allgemeinen existiert, anders als bei der linearen Regression , keine geschlossene Formel für die optimalen Parameter . Üblicherweise werden numerische Optimierungsalgorithmen eingesetzt, um diese zu bestimmen. Im Gegensatz zur linearen Regression kann die zu optimierende Funktion viele lokale Minima aufweisen, und selbst das globale Minimum kann eine verzerrte Schätzung liefern. In der Praxis werden die geschätzten Parameterwerte in Verbindung mit dem Optimierungsalgorithmus verwendet, um das globale Minimum der Quadratsumme zu finden.

Für nähere Informationen zur nichtlinearen Datenmodellierung siehe Kleinste-Quadrate-Methode und nichtlineare Kleinste-Quadrate-Methode .

Die diesem Verfahren zugrunde liegende Annahme ist, dass das Modell durch eine lineare Funktion, nämlich eine Taylorreihe erster Ordnung, angenähert werden kann :

$${\displaystyle f(x_{i},{\boldsymbol {\beta }})\approx f(x_{i},0)+\sum _{j}J_{ij}\beta _{j}}$$

Dabei sind die Elemente der Jacobi-Matrix. Daraus folgt, dass die Kleinste-Quadrate-Schätzer gegeben sind durch ${\displaystyle J_{ij}={\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}}$

$${\displaystyle {\hat {\boldsymbol {\beta }}}\approx \mathbf {(J^{T}J)^{-1}J^{T}y} ,}$$ Vergleichen Sie die verallgemeinerten kleinsten Quadrate mit einer Kovarianzmatrix proportional zur Einheitsmatrix. Die nichtlinearen Regressionsstatistiken werden wie bei linearen Regressionsstatistiken berechnet und verwendet, wobei jedoch J anstelle von X in den Formeln eingesetzt wird.

Wenn die Funktion selbst nicht analytisch bekannt ist, sondern linear aus , oder mehr, bekannten Werten approximiert werden muss (wobei die Anzahl der Schätzer ist), wird der beste Schätzer direkt aus der linearen Template-Anpassung erhalten wie ^{[ 3 ]} (siehe auch lineare kleinste Quadrate ). ${\displaystyle f(x_{i},{\boldsymbol {\beta }})}$${\displaystyle n+1}$${\displaystyle n}$$${\displaystyle {\hat {\boldsymbol {\beta }}}=((\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {Y{\tilde {M}}} )^{-1}(\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}(\mathbf {d} -\mathbf {Y{\bar {m}})} }$$

Die lineare Approximation führt zu Verzerrungen in den Statistiken. Daher ist bei der Interpretation von Statistiken, die aus einem nichtlinearen Modell abgeleitet wurden, größere Vorsicht geboten als üblich.

Die optimale Ausgleichskurve wird häufig als diejenige angenommen, die die Summe der quadrierten Residuen minimiert . Dies entspricht dem Verfahren der gewöhnlichen kleinsten Quadrate (OLS). Wenn die abhängige Variable jedoch keine konstante Varianz aufweist oder Ausreißer vorhanden sind, kann eine Summe gewichteter quadrierter Residuen minimiert werden (siehe gewichtete kleinste Quadrate ). Idealerweise sollte jedes Gewicht dem Kehrwert der Varianz der Beobachtung bzw. dem Kehrwert der abhängigen Variable hoch einer bestimmten Potenz im Fall von Ausreißern entsprechen ^{[ 4 ]} . In einem iterativ gewichteten Kleinste-Quadrate-Algorithmus können die Gewichte jedoch in jeder Iteration neu berechnet werden.

Manche nichtlineare Regressionsprobleme lassen sich durch eine geeignete Transformation der Modellformulierung in einen linearen Bereich überführen.

Betrachten wir beispielsweise das nichtlineare Regressionsproblem.

$${\displaystyle y=ae^{bx}U}$$

mit den Parametern a und b und dem multiplikativen Fehlerterm U. Wenn wir den Logarithmus beider Seiten nehmen, ergibt sich Folgendes:

$${\displaystyle \ln {(y)}=\ln {(a)}+bx+u,}$$

wobei u = ln( U ) die Schätzung der unbekannten Parameter durch eine lineare Regression von ln( y ) auf x nahelegt – eine Berechnung, die keine iterative Optimierung erfordert. Die Anwendung einer nichtlinearen Transformation erfordert jedoch Vorsicht. Der Einfluss der Datenwerte ändert sich, ebenso wie die Fehlerstruktur des Modells und die Interpretation der Ergebnisse. Dies sind möglicherweise unerwünscht. Andererseits kann eine nichtlineare Transformation, abhängig von der größten Fehlerquelle, die Fehler gaußförmig verteilen. Daher muss die Entscheidung für eine nichtlineare Transformation durch Modellüberlegungen begründet sein.

Für die Michaelis-Menten-Kinetik wird das lineare Lineweaver-Burk-Diagramm verwendet.

$${\displaystyle {\frac {1}{v}}={\frac {1}{V_{\max }}}+{\frac {K_{m}}{V_{\max }[S]}}}$$

Die Korrelation von 1/ v mit 1/[ S ] wurde häufig verwendet. Da sie jedoch sehr empfindlich auf Datenfehler reagiert und stark dazu neigt, die Daten in einem bestimmten Bereich der unabhängigen Variablen [ S ] anzupassen, wird von ihrer Verwendung dringend abgeraten.

Bei Fehlerverteilungen, die zur Exponentialfamilie gehören , kann eine Link-Funktion verwendet werden, um die Parameter im Rahmen des verallgemeinerten linearen Modells zu transformieren .

Die unabhängige oder erklärende Variable (z. B. X) kann in Klassen oder Segmente unterteilt werden, und für jedes Segment kann eine lineare Regression durchgeführt werden. Eine segmentierte Regression mit Konfidenzanalyse kann zeigen, dass sich die abhängige oder Zielvariable (z. B. Y) in den verschiedenen Segmenten unterschiedlich verhält. ^{[ 5 ]} Die Abbildung zeigt beispielsweise, dass der Salzgehalt des Bodens (X) zunächst keinen Einfluss auf den Ertrag (Y) von Senf hat, bis ein kritischer Wert ( Breakpoint ) erreicht ist, ab dem der Ertrag negativ beeinflusst wird. ^{[ 6 ]}

• Nichtlineare Ausgleichsrechnung
• Kurvenanpassung
• Verallgemeinertes lineares Modell
• Lokale Regression
• Methodik der Reaktionsmodellierung
• Genetische Programmierung
• Multi-Ausdrucksprogrammierung
• Lineare oder quadratische Template-Anpassung

• Bethea, RM; Duran, BS; Boullion, TL (1985). Statistische Methoden für Ingenieure und Naturwissenschaftler . New York: Marcel Dekker. ISBN 0-8247-7227-XDie
• Meade, N.; Islam, T. (1995). „Prognoseintervalle für Wachstumskurvenprognosen“. Journal of Forecasting . 14 (5): 413–430 . doi : 10.1002/for.3980140502 .
• Schittkowski, K. (2002). Datenanpassung in dynamischen Systemen . Boston: Kluwer. ISBN 1402010796Die
• Seber, GAF; Wild, CJ (1989). Nichtlineare Regression . New York: John Wiley and Sons. ISBN 0471617601Die