Aggregatfunktion

In der Datenbankverwaltung ist eine Aggregationsfunktion eine Funktion , bei der mehrere Werte zusammen verarbeitet werden, um eine einzige zusammenfassende Statistik zu bilden .

Gängige Aggregatfunktionen sind:

• Durchschnitt (d. h. arithmetisches Mittel )
• Zählen
• Maximal
• Mittlere
• Minimum
• Modus
• Reichweite
• Summe

Weitere Beispiele sind:

• Nanmean (Mittelwert ohne NaN-Werte, auch bekannt als "nil" oder "null")
• Standardabweichung

Formal gesehen nimmt eine Aggregatfunktion als Eingabe eine Menge , eine Multimenge (einen Bag) oder eine Liste aus einem Eingabebereich I und gibt ein Element eines Ausgabebereichs O aus . ^{[ 1 ]} Der Eingabe- und der Ausgabebereich können gleich sein, wie beispielsweise für SUM, oder unterschiedlich sein, wie beispielsweise für COUNT.

Aggregatfunktionen kommen häufig in zahlreichen Programmiersprachen , in Tabellenkalkulationsprogrammen und in der relationalen Algebra vor .

Die listaggFunktion, wie im SQL:2016- Standard ^{[ 2 ]} definiert , aggregiert Daten aus mehreren Zeilen zu einer einzigen verketteten Zeichenkette.

Im Entity-Relationship-Diagramm wird die Aggregation wie in Abbildung 1 dargestellt durch ein Rechteck um die Beziehung und ihre Entitäten, um anzuzeigen, dass sie als aggregierte Entität behandelt wird. ^{[ 3 ]}

Aggregatfunktionen stellen einen Engpass dar , da sie potenziell alle Eingabewerte gleichzeitig benötigen. In verteilten Systemen ist es wünschenswert, solche Berechnungen in kleinere Teile zu zerlegen und die Arbeit, üblicherweise parallel , mithilfe eines Divide-and-Conquer-Algorithmus zu verteilen .

Manche Aggregatfunktionen lassen sich berechnen, indem man die Aggregatwerte für Teilmengen ermittelt und diese Aggregatwerte anschließend addiert; Beispiele hierfür sind COUNT , MAX , MIN und SUMME . In anderen Fällen kann die Aggregatfunktion berechnet werden, indem man Hilfszahlen für Teilmengen ermittelt, diese Hilfszahlen addiert und schließlich die Gesamtzahl berechnet; Beispiele hierfür sind AVERAGE (Summe und Anzahl werden ermittelt, am Ende wird dividiert) und RANGE (Maximum und Minimum werden ermittelt, am Ende wird subtrahiert). In wieder anderen Fällen kann die Aggregatfunktion nur berechnet werden, wenn die gesamte Menge auf einmal analysiert wird, wobei in einigen Fällen Näherungswerte verteilt werden können; Beispiele hierfür sind DISTINCT COUNT ( Problem der Anzahl unterschiedlicher Elemente ), MEDIAN und MODE .

Solche Funktionen werden als zerlegbare Aggregationsfunktionen ^{[ 4 ]} oder zerlegbare Aggregatfunktionen bezeichnet . Die einfachsten können als selbstzerlegbare Aggregationsfunktionen bezeichnet werden , die als diejenigen Funktionen f definiert sind, für die es einen Merge-Operator gibt , sodass${\displaystyle \diamond }$

${\displaystyle f(X\uplus Y)=f(X)\diamond f(Y)}$

wobei ⁠ ⁠${\displaystyle \uplus }$ die Vereinigung von Multimengen ist (siehe Monoidhomomorphismus ).

Zum Beispiel: SUMME :

${\displaystyle \operatorname {SUM} ({x})=x}$für ein einzelnes Element;

${\displaystyle \operatorname {SUM} (X\uplus Y)=\operatorname {SUM} (X)+\operatorname {SUM} (Y)}$Das bedeutet, dass „merge “ einfach${\displaystyle \diamond }$ eine Addition ist.

ZÄHLEN :

${\displaystyle \operatorname {COUNT} ({x})=1}$,

${\displaystyle \operatorname {COUNT} (X\uplus Y)=\operatorname {COUNT} (X)+\operatorname {COUNT} (Y)}$Die

MAX :

${\displaystyle \operatorname {MAX} ({x})=x}$,

${\displaystyle \operatorname {MAX} (X\uplus Y)=\max {\bigl (}\operatorname {MAX} (X),\operatorname {MAX} (Y){\bigr )}}$Die

MIN :

${\textstyle \operatorname {MIN} ({x})=x}$, ^{[ 2 ]}

${\displaystyle \operatorname {MIN} (X\uplus Y)=\min {\bigl (}\operatorname {MIN} (X),\operatorname {MIN} (Y){\bigr )}}$Die

Beachten Sie, dass selbstzerlegbare Aggregationsfunktionen kombiniert werden können (formal durch Produktbildung), indem man sie separat anwendet. So kann man beispielsweise gleichzeitig die Summe und die Anzahl berechnen, indem man zwei Zahlen verfolgt.

Allgemeiner lässt sich eine zerlegbare Aggregationsfunktion f als eine Funktion definieren, die sich als Komposition einer finalen Funktion g und einer selbstzerlegbaren Aggregationsfunktion h ausdrücken lässt . Zum Beispiel: MITTELWERT = SUMME/ANZAHL und BEREICH = MAX−MIN . ${\displaystyle f=g\circ h,f(X)=g(h(X))}$

Im MapReduce- Framework werden diese Schritte als InitialReduce (Wert auf einem einzelnen Datensatz/Singleton-Set), Combine (binäre Zusammenführung zweier Aggregationen) und FinalReduce (finale Funktion auf Hilfswerten) bezeichnet ^{[ 5 ].} Das Verschieben einer zerlegbaren Aggregation vor der Shuffle-Phase wird als InitialReduce-Schritt bezeichnet ^{[ 6 ].}

Zerlegbare Aggregationsfunktionen sind in der Online Analytical Processing (OLAP) wichtig, da sie es ermöglichen, Aggregationsabfragen auf den vorab berechneten Ergebnissen im OLAP-Cube anstatt auf den Basisdaten durchzuführen. ^{[ 7 ]} Beispielsweise lassen sich COUNT , MAX , MIN und SUM in OLAP leicht unterstützen, da diese für jede Zelle des OLAP-Cubes berechnet und anschließend zusammengefasst werden können. Die Unterstützung von MEDIAN gestaltet sich hingegen schwierig , da dieser Wert für jede Sicht separat berechnet werden muss.

Um Mittelwert und Standardabweichung aus aggregierten Daten zu berechnen, benötigt man für jede Gruppe die Summe der Werte (Σx i  = SUM(x)), die Anzahl der Werte (N = COUNT(x)) und die Summe der Quadrate der Werte (Σx i 2 = SUM(x 2 )) jeder Gruppe. [ 8 ]AVG : oder nur wenn COUNT(X) = COUNT(Y) : Die Summe der Quadrate der Werte ist wichtig, um die Standardabweichung der Gruppen zu berechnen : Für eine endliche Population mit gleichen Wahrscheinlichkeiten an allen Punkten gilt [ 9 ]$${\displaystyle \operatorname {AVG} (X\uplus Y)={\bigl (}\operatorname {AVG} (X)*\operatorname {COUNT} (X)+\operatorname {AVG} (Y)*\operatorname {COUNT} (Y){\bigr )}/{\bigl (}\operatorname {COUNT} (X)+\operatorname {COUNT} (Y){\bigr )}}$$$${\displaystyle \operatorname {AVG} (X\uplus Y)={\bigl (}\operatorname {SUM} (X)+\operatorname {SUM} (Y){\bigr )}/{\bigl (}\operatorname {COUNT} (X)+\operatorname {COUNT} (Y){\bigr )}}$$$${\displaystyle \operatorname {AVG} (X\uplus Y)={\bigl (}\operatorname {AVG} (X)+\operatorname {AVG} (Y){\bigr )}/2}$$SUM(x2)$${\displaystyle \operatorname {SUM} (X^{2}\uplus Y^{2})=\operatorname {SUM} (X^{2})+\operatorname {SUM} (Y^{2})}$$STDDEV$${\displaystyle \operatorname {STDDEV} (X)=s(x)={\sqrt {{\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-{\overline {x}})^{2}}}={\sqrt {{\frac {1}{N}}\left(\sum _{i=1}^{N}x_{i}^{2}\right)-({\overline {x}})^{2}}}={\sqrt {\operatorname {SUM} (x^{2})/\operatorname {COUNT} (x)-\operatorname {AVG} (x)^{2}}}}$$

Dies bedeutet, dass die Standardabweichung gleich der Quadratwurzel der Differenz zwischen dem Durchschnitt der Quadrate der Werte und dem Quadrat des Mittelwerts ist. $${\displaystyle \operatorname {STDDEV} (X\uplus Y)={\sqrt {\operatorname {SUM} (X^{2}\uplus Y^{2})/\operatorname {COUNT} (X\uplus Y)-\operatorname {AVG} (X\uplus Y)^{2}}}}$$$${\displaystyle \operatorname {STDDEV} (X\uplus Y)={\sqrt {{\bigl (}\operatorname {SUM} (X^{2})+\operatorname {SUM} (Y^{2}){\bigr )}/{\bigl (}\operatorname {COUNT} (X)+\operatorname {COUNT} (Y){\bigr )}-{\bigl (}(\operatorname {SUM} (X)+\operatorname {SUM} (Y))/(\operatorname {COUNT} (X)+\operatorname {COUNT} (Y)){\bigr )}^{2}}}}$$

• Kreuztabelle, auch Kontingenztabelle genannt
• Datenbohrung
• Data-Mining
• Datenverarbeitung
• Extrahieren, transformieren, laden
• Faltung (Funktion höherer Ordnung)
• Gruppieren nach (SQL) , SQL-Klausel
• OLAP-Würfel
• Online-Analytische Verarbeitung
• Pivot-Tabelle
• Relationale Algebra
• Nutzenfunktionen für unteilbare Güter#Aggregate von Nutzenfunktionen
• XML für die Analyse
• AggregateIQ
• MapReduce

• Grabisch, Michel; Marichal, Jean-Luc; Mesiar, Radko; Pap, Endre (2009). Aggregationsfunktionen . Encyclopedia of Mathematics and its Applications. Band 127. Cambridge: Cambridge University Press . ISBN 978-0-521-51926-7. Zbl  1196.00002 .
• Oracle-Aggregatfunktionen: MAX, MIN, COUNT, SUM, AVG – Beispiele

• Aggregatfunktionen (Transact-SQL)