Ausdrucksbaum , wie er in der symbolischen Regression zur Darstellung einer Funktion verwendet werden kann.

Die symbolische Regression ( SR ) ist eine Art der Regressionsanalyse , die den Raum mathematischer Ausdrücke durchsucht , um das Modell zu finden, das am besten zu einem gegebenen Datensatz passt, sowohl im Hinblick auf Genauigkeit als auch auf Einfachheit.

Für die symbolische Regression wird kein bestimmtes Modell als Ausgangspunkt vorgegeben. Stattdessen werden die Ausgangsausdrücke durch zufällige Kombination mathematischer Bausteine ​​wie mathematischer Operatoren , analytischer Funktionen , Konstanten und Zustandsvariablen gebildet . Üblicherweise legt der Anwender eine Teilmenge dieser Bausteine ​​fest, dies ist jedoch keine Voraussetzung für die Technik. Das Problem der symbolischen Regression für mathematische Funktionen wurde mit verschiedenen Methoden angegangen, darunter die Rekombination von Gleichungen, meist mittels genetischer Programmierung [ 1 ] , sowie neuere Methoden, die Bayes'sche Verfahren [ 2 ] und neuronale Netze [ 3 ] nutzen . Eine weitere nicht-klassische Alternative zur symbolischen Regression ist der Universal Functions Originator (UFO), der einen anderen Mechanismus, Suchraum und eine andere Konstruktionsstrategie verwendet [ 4 ] . Weitere Methoden wie Exact Learning versuchen, das Anpassungsproblem in ein Momentenproblem in einem natürlichen Funktionenraum zu transformieren, das üblicherweise auf Verallgemeinerungen der Meijer-G-Funktion basiert [ 5 ] .

Da die symbolische Regression keine a priori Spezifikation eines Modells erfordert, ist sie unempfindlich gegenüber menschlichen Voreingenommenheiten und unbekannten Wissenslücken . Sie versucht, die intrinsischen Beziehungen des Datensatzes aufzudecken, indem sie die Muster in den Daten selbst die geeigneten Modelle offenbaren lässt, anstatt eine Modellstruktur vorzugeben, die aus menschlicher Sicht mathematisch handhabbar erscheint. Die Fitnessfunktion , die die Evolution der Modelle steuert, berücksichtigt nicht nur Fehlermetriken (um sicherzustellen, dass die Modelle die Daten präzise vorhersagen), sondern auch spezielle Komplexitätsmaße [ 6 ] . Dadurch wird gewährleistet, dass die resultierenden Modelle die zugrundeliegende Struktur der Daten auf eine für Menschen verständliche Weise offenbaren. Dies erleichtert das Schlussfolgern und erhöht die Wahrscheinlichkeit, Erkenntnisse über das datengenerierende System zu gewinnen. Zudem verbessert es die Generalisierbarkeit und das Extrapolationsverhalten, indem Überanpassung vermieden wird . Genauigkeit und Einfachheit können als zwei separate Ziele der Regression verfolgt werden – in diesem Fall bilden die optimalen Lösungen eine Pareto-Front – oder sie können mithilfe eines Modellselektionsprinzips wie der minimalen Beschreibungslänge zu einem einzigen Ziel kombiniert werden .

Es wurde bewiesen, dass die symbolische Regression ein NP-schweres Problem ist. [ 7 ] Ist die gesuchte Gleichung jedoch nicht zu komplex, lässt sich das Problem der symbolischen Regression exakt lösen, indem man alle möglichen Funktionen (aus einem vordefinierten Satz von Operatoren) generiert und diese anhand des betreffenden Datensatzes auswertet. [ 8 ]

Unterschied zur klassischen Regression

Während herkömmliche Regressionsverfahren die Parameter für eine vorgegebene Modellstruktur optimieren, vermeidet die symbolische Regression Annahmen im Vorfeld und leitet das Modell stattdessen aus den Daten ab. Anders ausgedrückt: Sie versucht, sowohl Modellstrukturen als auch Modellparameter zu ermitteln.

Dieser Ansatz hat den Nachteil eines deutlich größeren Suchraums, da nicht nur der Suchraum in der symbolischen Regression unendlich ist, sondern auch unendlich viele Modelle existieren, die perfekt zu einem endlichen Datensatz passen (vorausgesetzt, die Modellkomplexität ist nicht künstlich begrenzt). Dies bedeutet, dass ein Algorithmus der symbolischen Regression möglicherweise länger benötigt, um ein geeignetes Modell und eine passende Parametrisierung zu finden, als herkömmliche Regressionsverfahren. Dies lässt sich abmildern, indem die Menge der dem Algorithmus zur Verfügung gestellten Bausteine ​​basierend auf dem vorhandenen Wissen über das System, das die Daten erzeugt hat, eingeschränkt wird. Letztendlich muss die Entscheidung für die symbolische Regression jedoch immer mit dem Kenntnisstand über das zugrunde liegende System abgewogen werden.

Diese Eigenschaft der symbolischen Regression birgt jedoch auch Vorteile: Da der evolutionäre Algorithmus Diversität benötigt, um den Suchraum effektiv zu erkunden, ist das Ergebnis wahrscheinlich eine Auswahl von Modellen mit hohen Punktzahlen (und den zugehörigen Parametersätzen). Die Untersuchung dieser Sammlung kann einen besseren Einblick in den zugrunde liegenden Prozess ermöglichen und dem Benutzer erlauben, eine Näherung zu finden, die seinen Anforderungen hinsichtlich Genauigkeit und Einfachheit besser entspricht.

Benchmarking

SRBench

Im Jahr 2021 wurde SRBench [ 9 ] als umfangreicher Benchmark für symbolische Regression vorgeschlagen. Zu Beginn umfasste SRBench 14 Methoden der symbolischen Regression, 7 weitere ML-Methoden und 252 Datensätze aus PMLB . Der Benchmark ist als dynamisches Projekt konzipiert: Er fördert die Einreichung von Verbesserungen, neuen Datensätzen und neuen Methoden, um den aktuellen Stand der Technik im Bereich der symbolischen Regression zu erfassen.

SRBench-Wettbewerb 2022

Im Jahr 2022 kündigte SRBench den Wettbewerb „Interpretable Symbolic Regression for Data Science“ an, der im Rahmen der GECCO-Konferenz in Boston, Massachusetts, stattfand. Neun führende Algorithmen der symbolischen Regression traten in diesem Wettbewerb anhand neuartiger Datenprobleme gegeneinander an, wobei verschiedene Bewertungskriterien berücksichtigt wurden. Der Wettbewerb war in zwei Kategorien unterteilt: eine Kategorie mit synthetischen Daten und eine Kategorie mit realen Daten. [ 10 ]

Synthetikbahn

Im synthetischen Test wurden die Methoden anhand von fünf Eigenschaften verglichen: Wiederfindung exakter Ausdrücke; Merkmalsauswahl; Resistenz gegenüber lokalen Optima; Extrapolation; und Empfindlichkeit gegenüber Rauschen. Die Rangfolge der Methoden war wie folgt:

  1. QLattice
  2. PySR (Python Symbolic Regression)
  3. uDSR (Deep Symbolic Optimization)

Realwelt-Strecke

Im Rahmen der Praxissimulation wurden Methoden trainiert, um interpretierbare Vorhersagemodelle für die 14-Tage-Prognose der COVID-19-Fallzahlen, Krankenhausaufenthalte und Todesfälle im Bundesstaat New York zu erstellen. Diese Modelle wurden von einem Fachexperten geprüft, hinsichtlich ihrer Vertrauenswürdigkeit bewertet und auf Genauigkeit und Einfachheit hin beurteilt. Die Rangfolge der Methoden war wie folgt:

  1. uDSR (Deep Symbolic Optimization)
  2. QLattice
  3. Genetische Maschine (Genetic Engine)

    Nicht standardisierte Methoden

    Die meisten symbolischen Regressionsalgorithmen verhindern eine kombinatorische Explosion , indem sie evolutionäre Algorithmen implementieren, die den optimalen Ausdruck über viele Generationen iterativ verbessern. In jüngster Zeit haben Forscher Algorithmen vorgeschlagen, die andere Taktiken der KI nutzen .

    Silviu-Marian Udrescu und Max Tegmark entwickelten den „AI Feynman“-Algorithmus [ 11 , 12 ]. Dieser versucht eine symbolische Regression, indem er ein neuronales Netzwerk trainiert, um die gesuchte Funktion zu repräsentieren. Anschließend werden Tests mit dem Netzwerk durchgeführt, um das Problem in kleinere Teile zu zerlegen. Beispielsweise kann das Netzwerk die Trennung erkennen und anschließend und separat sowie mit unterschiedlichen Eingabevariablen berechnen. Dies ist ein Beispiel für das Divide-and-Conquer-Prinzip , das die Problemgröße reduziert und das Problem handhabbarer macht. AI Feynman transformiert außerdem die Eingaben und Ausgaben der gesuchten Funktion, um eine neue Funktion zu erzeugen, die mit anderen Verfahren gelöst werden kann, und führt eine Dimensionsanalyse durch , um die Anzahl der unabhängigen Variablen zu reduzieren. Der Algorithmus konnte 100 Gleichungen aus den Feynman-Vorlesungen über Physik „entdecken“ , während eine führende Software, die evolutionäre Algorithmen verwendet, Eureqa , nur 71 löste. AI Feynman benötigt im Gegensatz zu klassischen symbolischen Regressionsmethoden einen sehr großen Datensatz, um das neuronale Netzwerk zunächst zu trainieren, und ist naturgemäß auf Gleichungen ausgerichtet, die in der elementaren Physik häufig vorkommen.

    Siehe auch

    Referenzen

    1. ^ Michael Schmidt; Hod Lipson (2009). „Ableitung freier Naturgesetze aus experimentellen Daten“ . Science . 324 (5923) . American Association for the Advancement of Science: 81–85 . Bibcode : 2009Sci...324...81S . CiteSeerX  10.1.1.308.2245 . doi : 10.1126/science.1165893 . PMID  19342586. S2CID  7366016 .
    2. ^ Ying Jin; Weilin Fu; Jian Kang; Jiadong Guo; Jian Guo (2019). „Bayesianische symbolische Regression“. arXiv : 1910.08892 [ stat.ME ].
    3. ^ a b Silviu-Marian Udrescu; Max Tegmark (2020). „AI Feynman: Eine physikalisch inspirierte Methode für symbolische Regression“ . Science_Advances . 6 (16) eaay2631. American Association for the Advancement of Science. arXiv : 1905.11481 . Bibcode : 2020SciA....6.2631U . doi : 10.1126/sciadv.aay2631 . PMC 7159912. PMID 32426452 .  
    4. ^ Ali R. Al-Roomi; Mohamed E. El-Hawary (2020). „Universal Functions Originator“ . Applied Soft Computing . 94 106417. Elsevier BV doi : 10.1016/j.asoc.2020.106417 . ISSN 1568-4946 . S2CID 219743405 .  
    5. ^ Benedict WJ Irwin (2021). „Eine natürliche Repräsentation von Funktionen für exaktes Lernen“ (PDF) (Preprint). doi : 10.21203/rs.3.rs-149856/v1 . S2CID 234014141 . 
    6. Ekaterina J. Vladislavleva, Guido F. Smits und Dick Den Hertog (2009). „Order of nonlinearity as a complexity measure for models generated by symbolic regression via pareto genetic programming“ (PDF) . IEEE Transactions on Evolutionary Computation . 13 (2): 333–349 . Bibcode : 2009ITEC...13..333V . doi : 10.1109/tevc.2008.926486 . S2CID 12072764 . 
    7. ^ Virgolin, Marco; Pissis, Solon P. (2022). „Symbolische Regression ist NP-schwer“ . Transactions on Machine Learning Research . arXiv : 2207.01018 .
    8. ^ Bartlett, Deaglan; Desmond, Harry; Ferreira, Pedro (2023). „Exhaustive Symbolic Regression“. IEEE Transactions on Evolutionary Computation . 28 (4): 1. arXiv : 2211.11461 . doi : 10.1109/TEVC.2023.3280250 . S2CID 253735380 . 
    9. ^ La Cava, William; Orzechowski, Patryk; Burlacu, Bogdan; de Franca, Fabricio; Virgolin, Marco; Jin, Ying; Kommenda, Michael; Moore, Jason (2021). „ Zeitgenössische symbolische Regressionsmethoden und ihre relative Leistungsfähigkeit“ . Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks . 1. arXiv : 2107.14351 .
    10. ^ Michael Kommenda; William La Cava; Maimuna Majumder; Fabricio Olivetti de França; Marco Virgolin. „SRBench-Wettbewerb 2022: Interpretierbare symbolische Regression für die Datenwissenschaft“ .
    11. ^ Udrescu, Silviu-Marian; Tegmark, Max (17.04.2020). „AI Feynman: Eine physikalisch inspirierte Methode für symbolische Regression“ . Science Advances . 6 (16) eaay2631. arXiv : 1905.11481 . Bibcode : 2020SciA....6.2631U . doi : 10.1126/sciadv.aay2631 . ISSN 2375-2548 . PMC 7159912. PMID 32426452 .   
    12. ^ Udrescu, Silviu-Marian; Tan, Andrew; Feng, Jiahai; Neto, Orisvaldo; Wu, Tailin; Tegmark, Max (2020-12-16). „AI Feynman 2.0: Pareto-optimale symbolische Regression unter Ausnutzung der Graphmodularität“. arXiv : 2006.10782 [ cs.LG ].

    Weiterführende Literatur