2.2 Deskriptive Statistik

Durch besondere Parameter können in den zu untersuchenden Daten Merkmale genauer betrachtet und beschrieben werden. Der Lageparameter mit den Funktionen Mittelwert und Median stellt bei numerischen Attributen den Durchschnitt dar. Wie stark ein Attribut in seinem Wertebereich verteilt ist, zeigt der Streuungsparameter (Varianz und die Standardabweichung) auf. Die Merkmale zwischen zwei unterschiedlichen Attributen in einem Datensatz zeigen die Kovarianz und die Korrelation auf.

2.2.1 Mittelwert

Der Mittelwert oder das arithmetische Mittel eines Attributs $X$ wird gebildet, in dem man die einzelnen Ausprägungen $x_i$ aufsummiert und durch die Gesamtanzahl $n$ der Ausprägungen dividiert.

$$\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

Als Beispiel wollen wir für das Attribute Alter $X_{alter}$ mit den Werten $46,52,21,35,61$ aus der Tabelle 2.1 den Mittelwert bestimmen. Als Resultat erhalten wir das Ergebnis $\overline{x}=\frac{46+52+21+35+61}{5}=43$. Das arithmetische Mittel kann man als Schwerpunkt für das Attribut interpretieren. Es gilt:

$$\sum _{i=1}^n(x_i-\overline{x})=0$$

Die Summe der Abweichungen vom Mittelwert ist gleich 0. Der Mittelwert ist sensitiv gegenüber Ausreißern. Wenn Fehler in der Datenerhebung bspw. durch Messfehler entstanden sind, so führt der Mittelwert zu einer fehlerhaften Aussage.

2.2.2 Median

Der Median ist ein robustes Lagemaß, d.h. der Median begrenzt den Einfluß von Ausreißern. Der Median befindet sich in der Mitte der Werte des Attributs. Die Hälfte der Daten liegt unterhalb und die andere Hälfte befindet sich oberhalb des Medians.

Um den Median zu berechnen, sortiert man die Merkmale $x_i$ eines Attributs $X$ in aufsteigender Folge: $x_{\left(1\right)}\le x_{\left(2\right)}\le ...\le x_{\left(n\right)}$

$$x_{median}=\{\begin{array}{cc}{x}_{\left(\frac{n+1}{2}\right)}& \text{n ungerade}\\ \frac{1}{2}(x_{\left(\frac{n}{2}\right)}+x_{(\frac{n}{2}+1)})& \text{n gerade}\end{array}$$

Wendet man diese Regel auf die Beispieldaten aus der Tabelle 2.1 an, so erhält man die sortierte Folge $X=(21,35,46,52,61)$. Es ergibt sich für den Median ${\overline{x}}_{median}=46$.

Eine weitere Variante des Mittelwerts, um die Auswirkungen von Ausreißer zu mildern, ist der getrimmte Mittelwert (Trimmed mean). Hierbei wird vor der Mittelwertsberechung eine festgelegte Anzahl an minimalen und maximalen Ausprägungen entfernt (bspw. die 10 kleinsten und höchsten Werte)

2.2.3 Streuungsparameter

Weitere wichtige Parameter zur Beurteilung von Attributen sind Streuungsparameter. Diese geben an, wie stark der Wertebereich eines Attributes variiert. Die Varianz und die Standardabweichung sind in der Statistik die bekanntesten Streuungsparameter. Sie basieren auf der quadratischen Abweichung der einzelnen Merkmalsausprägungen. Sie werden wie folgt berechnet:

$$\text{Varianz}=s^2=\frac{1}{n-1}\sum (x_i-\overline{x}{)}^2$$

$$\text{Standardabweichung}=s=\sqrt{s^2}$$

Für die Varianz aus unseren Beispieldaten (Tabelle 2.1) erhalten wir für das Merkmal Alter das folgende Ergebnis $var\left(X_{Alter}\right)=240.5$. Da jedoch dieser Wert aufgrund seiner Einheit ${\text{Jahre}}^2$ weniger aussagekräftig ist, wählt man aufgrund dessen die Standardabweichung $s=\sqrt{var\left(X_{\text{Alter}}\right)}=15.508$

Degrees of Freedom, and n or n – 1?

In statistics books, there is always some discussion of why we have $n–1$ in the denominator in the variance formula, instead of n, leading into the concept of degrees of freedom. This distinction is not important since $n$ is generally large enough that it won’t make much difference whether you divide by $n$ or $n–1$. But in case you are interested, here is the story. It is based on the premise that you want to make estimates about a population, based on a sample.

If you use the intuitive denominator of $n$ in the variance formula, you will underestimate the true value of the variance and the standard deviation in the population. This is referred to as a biased estimate. However, if you divide by $n–1$ instead of $n$, the variance becomes an unbiased estimate.

To fully explain why using $n$ leads to a biased estimate involves the notion of degrees of freedom, which takes into account the number of constraints in computing an estimate. In this case, there are $n–1$ degrees of freedom since there is one constraint: the standard deviation depends on calculating the sample mean. For many problems, data scientists do not need to worry about degrees of freedom, but there are cases where the concept is important Source

Abbildung 2.1: Histogramm mit unterschiedlicher Lage und Streuung

2.2.4 Kovarianz & Korrelation

Für die Gegenüberdarstellung von unterschiedlichen Merkmalen in einem Datensatz existieren die Koeffizienten für Kovarianz und Korrelation. Die Kovarianz spielt hierbei eine untergeordnete Rolle, da sie nur die Richtung des linearen Zusammenhangs aufzeigt (positiver Koeffizient positiver Zusammenhang, negativer Koeffizient negativer Zusammenhang) und nicht die Stärke. Zudem existieren auch keine unteren und oberen Grenzen und im Allgemeinen ist kein Vergleich mit anderen Kovarianz-Koeffizienten möglich.

$$s_{xy}=\frac{1}{n-1}\sum (x_i-\overline{x})(y_i-\overline{y})$$

Ein positiver linearer Zusammenhang von zwei Merkmalen besteht, wenn kleine Werte von Merkmal $X_1$ mit kleinen Werten von $X_2$ und große Werte von Merkmal $X_1$ mit großen Werten von $X_2$ einhergehen. Ein Beispiel von unterschiedlichen Zusammenhängen zeigt die Abbildung 2.2.

Der Korrelationskoeffizient (Pearson-Korrelationskoeffizient) gibt nicht nur Aufschluss über die Richtung des linearen Zusammenhangs, sondern auch über dessen Stärke. Hierbei bewegt sich der Koeffizient im Wertebereich $[-1,1]$. Ein starker positiver Zusammenhang zwischen zwei Merkmalen bewegt sich hierbei im Bereich $0.5<r\le 1$. Analog hierzu zeigt ein Koeffizient im Wertebereich $-0.5<r\le -1$ einen starken negativen Zusammenhang. Koeffizienten um den Bereich $0$ spiegeln keinen linearen Zusammenhang der betrachteten Merkmale wider. Einen schnellen Einblick in die Daten erlauben sogenannte Korrelationsmatrizen, in denen die Korrelation von jeder Kombination aus zwei Merkmalen betrachtet wird.

$r_{xy}=\frac{s_{xy}}{s_x{s}_y}=\frac{cov(X,Y)}{\sqrt{var\left(X\right)}\ast \sqrt{var\left(X\right)}}$

Abbildung 2.2: Scatterplot mit unterschiedlichen Korrelationskoeffizienten

• Scheinkorrelation: Zwei Merkmale $X$ und $Y$ sind von einem unbeobachteten dritten Merkmal abhängig.
• Scheinkorrelation: Keine logische Verbindung zwischen zwei Merkmalen. Amüsante Scheinkorrelationen sind auf der Webseite Spurious Correlations gelistet.