statistik-zf/zf-statistik.tex

1440 lines
60 KiB
TeX
Raw Normal View History

2020-01-03 15:21:09 +01:00
\documentclass[8pt,landscape]{extarticle}
\usepackage{multicol}
\usepackage{calc}
\usepackage{ifthen}
\usepackage[a4paper, landscape]{geometry}
\usepackage{hyperref}
\usepackage{ccicons}
\usepackage{amsmath, amsfonts, amssymb, amsthm}
\usepackage{listings}
\usepackage{xcolor}
2020-01-06 11:24:33 +01:00
\usepackage[ngerman]{babel}
2020-01-03 15:21:09 +01:00
\usepackage{graphicx}
\usepackage{multirow}
2020-01-06 11:24:33 +01:00
\usepackage{fontawesome}
2020-01-03 15:21:09 +01:00
\usepackage{float}
\usepackage[
type={CC},
2020-01-06 11:24:33 +01:00
modifier={by-sa},
2020-01-03 15:21:09 +01:00
version={3.0},
]{doclicense}
\graphicspath{ {./img/} }
\definecolor{codegreen}{rgb}{0,0.6,0}
\definecolor{codegray}{rgb}{0.5,0.5,0.5}
\definecolor{codepurple}{rgb}{0.58,0,0.82}
\definecolor{backcolour}{rgb}{0.9,0.9,0.9}
\lstdefinestyle{mystyle}{
backgroundcolor=\color{backcolour},
commentstyle=\color{codegreen},
keywordstyle=\color{magenta},
numberstyle=\tiny\color{codegray},
stringstyle=\color{codepurple},
basicstyle=\ttfamily\footnotesize,
breakatwhitespace=false,
breaklines=true,
captionpos=b,
keepspaces=true,
numbers=left,
numbersep=5pt,
showspaces=false,
showstringspaces=false,
showtabs=false,
tabsize=2
}
\lstset{style=mystyle}
% To make this come out properly in landscape mode, do one of the following
% 1.
% pdflatex latexsheet.tex
%
% 2.
% latex latexsheet.tex
% dvips -P pdf -t landscape latexsheet.dvi
% ps2pdf latexsheet.ps
% If you're reading this, be prepared for confusion. Making this was
% a learning experience for me, and it shows. Much of the placement
% was hacked in; if you make it better, let me know...
% 2008-04
% Changed page margin code to use the geometry package. Also added code for
% conditional page margins, depending on paper size. Thanks to Uwe Ziegenhagen
% for the suggestions.
% 2006-08
% Made changes based on suggestions from Gene Cooperman. <gene at ccs.neu.edu>
% To Do:
% \listoffigures \listoftables
% \setcounter{secnumdepth}{0}
% This sets page margins to .5 inch if using letter paper, and to 1cm
% if using A4 paper. (This probably isn't strictly necessary.)
% If using another size paper, use default 1cm margins.
\ifthenelse{\lengthtest { \paperwidth = 11in}}
{ \geometry{top=.5in,left=.5in,right=.5in,bottom=.5in} }
{\ifthenelse{ \lengthtest{ \paperwidth = 297mm}}
{\geometry{top=1cm,left=1cm,right=1cm,bottom=1cm} }
{\geometry{top=1cm,left=1cm,right=1cm,bottom=1cm} }
}
% Turn off header and footer
2020-01-06 11:24:33 +01:00
\pagestyle{plain}
\footskip{} % Left empty on purpose
2020-01-03 15:21:09 +01:00
% Redefine section commands to use less space
\makeatletter
\newcommand\sbullet[1][.5]{\mathbin{\vcenter{\hbox{\scalebox{#1}{$\bullet$}}}}}
\renewcommand{\section}{\@startsection{section}{1}{0mm}%
{-1ex plus -.5ex minus -.2ex}%
{0.5ex plus .2ex}%x
{\normalfont\large\bfseries}}
\renewcommand{\subsection}{\@startsection{subsection}{2}{0mm}%
{-1explus -.5ex minus -.2ex}%
{0.5ex plus .2ex}%
{\normalfont\normalsize\bfseries}}
\renewcommand{\subsubsection}{\@startsection{subsubsection}{3}{0mm}%
{-1ex plus -.5ex minus -.2ex}%
{1ex plus .2ex}%
{\normalfont\small\bfseries}}
\makeatother
% Define BibTeX command
\def\BibTeX{{\rm B\kern-.05em{\sc i\kern-.025em b}\kern-.08em
T\kern-.1667em\lower.7ex\hbox{E}\kern-.125emX}}
% Don't print section numbers
% \setcounter{secnumdepth}{0}
\setlength{\parindent}{0pt}
\setlength{\parskip}{0pt plus 0.5ex}
\lstset{language=R}
% -----------------------------------------------------------------------
\begin{document}
\raggedright
\footnotesize
\begin{multicols*}{3}
% multicol parameters
% These lengths are set only within the two main columns
%\setlength{\columnseprule}{0.25pt}
\setlength{\premulticols}{1pt}
\setlength{\postmulticols}{1pt}
\setlength{\multicolsep}{1pt}
\setlength{\columnsep}{2pt}
\begin{center}
\Large{Statistik ZF} \\
\small{Mathematik IV, zu VL von Jan Ernest} \\
\small{Jannis Portmann 2020} \\
2020-01-06 11:24:33 +01:00
{\ccbysa}
2020-01-03 15:21:09 +01:00
\end{center}
\begin{center}
\rule{\linewidth}{0.25pt}
\end{center}
\section{Modelle für Zähldaten}
\subsection{Wahrscheinlichkeitsmodelle}
\begin{itemize}
\item Grundraum $\Omega$ mit Elementarereignissen $\omega_i$ (z.B. Augenzahl eines Würfels)
\item Ereignisse $A$, $B$, $C$, ... (Teilmenge von $\Omega$) (z.B. Kombinationen von Augenzahlen)
\item Wahrscheinlichkeit für jedes Ereignis $P(A)$, $P(B)$, ...
\end{itemize}
\subsection{Operatoren}
\begin{itemize}
\item $A \cup B$ - ODER (inklusiv, "und/oder") \\
\item $A \cap B$ - UND (Konjunktion) \\
\item $A^c$ - NICHT (Negation) \\
\item $A \backslash B = A \cap B^c$ - A UND NICHT B
\end{itemize}
\subsection{Axiome der Wahrscheinlichkeitsrechnug}
\begin{enumerate}
\item $P(A) \geq 0$ - Die Wahrscheinlichkeiten sind immer nicht-negativ
\item $P(\Omega) = 1$ - Das Ereignis $\Omega$ hat Wahrscheinlichkeit eins
\item $P(A \cup B) = P(A) + P(B)$ falls $A \cap B = \emptyset$ (A und B sind disjunkt), d.h. für alle Ereignisse, die sich gegenseitig ausschliessen.
\end{enumerate}
Daraus folgen:
\begin{itemize}
\item $P(A^c) = 1 - P(A)$
\item $P(A \cup B) = P(A) + P(B) - P(A \cap B)$
\end{itemize}
\subsection{Wahrscheinlichkeiten berechnen}
Für diskrete Wahrscheinlichkeitsmodelle
\subsubsection{Summe der Elementarereinisse (verschiedene $P(\omega_i)$)}
$$P(A) = \sum_{\omega \in A} P(\{ \omega \})$$
\subsubsection{Laplace-Modell (gleiche $P(\omega_i)$)}
\label{section:laplace}
2020-01-06 11:24:33 +01:00
$$P(A)=\frac{|A|}{|\Omega|} = \frac{\mathrm{günstig}}{\mathrm{möglich}}$$
2020-01-03 15:21:09 +01:00
\subsection{Unabhängigkeit}
$A$ und $B$ sind stochastisch unabhängig, wenn gilt:
$$P(A \cap B) = P(A)P(B)$$
somit können wir dies annehmen, falls wir wissen, dass $A$ und $B$ nicht kausal voneinander abhängig sind
\subsection{Bedingte Wahrscheinlichkeit (Abhängigkeit)}
\subsubsection{Satz von Bayes}
$$P(A|B)P(B)=P(B|A)P(A)=P(A \cap B)$$
somit ist $P(A|B)$ nicht unbedingt $P(B|A)$\footnote{$P(A|B)$: $P(A)$ gegeben $B$}
\subsubsection{Gesetz der totalen Wahrscheinlichkeit}
$$P(B) = \sum_{i=1}^k P(B|A_k)P(A_k)$$
\subsubsection{Odds}
$$\mathrm{odds}(E) = \frac{P(E)}{1-P(E)} = \frac{P(E)}{P(E^c)}$$
(vgl. Abschnitt \ref{section:laplace})
$$\mathrm{odds}(E | A) = \frac{P(E | A)}{1-P(E|A)}$$
\subsubsection{Odds-Ratio}
$$\mathrm{OR} = \frac{\mathrm{odds}(E|A)}{\mathrm{odds}(E|B)}$$
\subsection{Zufallsvariable}
$$X(\omega) = x$$
\begin{center}
\begin{tabular}{ll}
$X$: & $\Omega \rightarrow \mathbb{R}$ \\
& $\omega \rightarrow X(\omega)$
\end{tabular}
\end{center}
Grossbuchstabe: Funktion, Kleinbuchstabe: Realisierung
$$ P(X=x)=P(\{\omega; X(\omega)=x\})= \sum_{\omega;X(\omega)=x} P(\omega)$$
So dass $\omega = x$, also einen gewünschten Wert (z.B. Jass: $P(\mathrm{Koenig}) = P(\mathrm{Schilten-Koenig})+P(\mathrm{Schellen-Koenig})+$...
\subsection{Diskrete Verteilungen}
\subsubsection{Kennzahlen}
\textbf{Erwartungswert}
$$\mathbb{E}(X) = \sum_{x \in \mathbb{W}_X} x P(X = x)$$
wobei $\mathbb{W}_x$ der Wertebereich von X ist.
\textbf{Varianz}
$$\mathrm{Var}(X) = \sum_{x \in \mathbb{W}_X}(x-\mathbb{E}(X))^2P(X=x)$$
\textbf{Standardabweichung}
$$\sigma(X) = \sqrt{\mathrm{Var}(X)}$$
\subsubsection{Bernoulli-($\pi$)-Verteilung}
$$P(X = 1) = \pi, P(X = 0) = 1 - \pi, 0 \leq \pi \leq 1$$
Beschreibt das eintreffen bzw. nicht-eintreffen eines bestimmten Ereignisses.
\subsubsection{Binomialverteilung \footnote{Dabei ist $\binom{n}{x} = \frac{n!}{x!(n-x)!}$ (TR: nCr($n,x$))})}
2020-01-03 15:21:09 +01:00
$$P(X = x) = \binom{n}{x} \pi^x(1 - \pi)^{n-x}, x \in \mathbb{N}_0$$
Dabei ist $0 \leq \pi \leq 1$ der Erfolgsparameter der Verteilung. \\
2020-01-10 11:05:17 +01:00
Notation: $X \sim \mathrm{Bin}(n,\pi)$ ($X$ folgt einer Binomialverteilung mit Parametern $n$ und $\pi$)
2020-01-03 15:21:09 +01:00
Zusammenhänge:
\begin{itemize}
\item $\mathrm{Bin}(1,\pi) = \mathrm{Bernoulli}(\pi)$
\item $X_1 \sim \mathrm{Bin}(n_1,\pi); X_2 \sim \mathrm{Bin}(n_2,\pi)$ unabhängig $\Rightarrow S := X_1 + X_2$, dann $S \sim \mathrm{Bin}(n_1+n_2,\pi)$
2020-01-10 11:05:17 +01:00
\item $X_1 \sim \mathrm{Bin}(n_1,\pi); X_2 \sim \mathrm{Bin}(n_2,\pi)$ unabhängig $\Rightarrow P(X_1=x_1 \cap X_2=x_2) = P(X_1 = x_1) \cdot P(X_2 = x_2)$
2020-01-03 15:21:09 +01:00
\end{itemize}
\textbf{Beispiel} \\
Urne mit Zurücklegen
2020-01-03 15:21:09 +01:00
\subsubsection{Poisson-($\lambda$)-verteilung}
$$P(X = x) = \mathrm{exp}(-\lambda)\frac{\lambda^x}{x!}, x \in \mathbb{N}_0$$
Dabei sind $\mathbb{E}(X) = \lambda, \mathrm{Var}(X) = \lambda, \sigma(X) = \sqrt{\lambda}$ \\
2020-01-06 11:24:33 +01:00
Für zwei unabhängige Poisson-Verteilungen $X \sim \mathrm{Poisson(\lambda_x)}, Y \sim \mathrm{Poisson}(\lambda_y)$ ist $X + Y \sim \mathrm{Poisson}(\lambda_x + \lambda_y)$ \\
Es gilt auch
2020-01-10 11:05:17 +01:00
$$P(X > n) = 1 - P(X \leq n) = 1 - (P(X = 0) + P(X=1) + ... + P(X = n))$$
2020-01-06 11:24:33 +01:00
\subsubsection{Geometrische Verteilung}
2020-01-10 11:05:17 +01:00
Sei $X \sim \mathrm{Bernoulli}(\pi)$, dann ist
2020-01-06 11:24:33 +01:00
$$Y = P(X=n) = \pi (1 - \pi)^{n-1}$$
die Anzahl Fehlversuche bis zu einem erfogreichen Versuch.
2020-01-03 15:21:09 +01:00
\subsubsection{Poisson-Approximation der Binomial-Verteilung}
$X \sim \mathrm{Bin}(n, \pi)$ und $Y \sim \mathrm{Poisson}(\lambda)$, für kleine $\pi$ und grosse $n$ gilt:
$$P(X=x)=\binom{n}{x}\pi^x(1-\pi^{n-x}) \approx P(Y = x)=\mathrm{exp}(-\lambda)\frac{\lambda^x}{x!}, x \in \mathbb{N}_0$$
2020-01-06 11:24:33 +01:00
wobei $\lambda = n\pi$
\begin{figure}[H]
\centering
\includegraphics[width=.15\textwidth]{poisson-approx.png}
2020-01-10 11:05:17 +01:00
\caption{Poisson Approximation der Binomialverteilung}
2020-01-06 11:24:33 +01:00
\label{fig:poisson-approx}
\end{figure}
2020-01-03 15:21:09 +01:00
\subsubsection{Diskrete Uniformverteilung}
$$P(X = x_i) = \frac{1}{n}, i \in \mathbb{N}$$
$X \sim \mathrm{Uniform}(x_i)$, alle $n$ Ereignisse $x$ sind gleich wahrscheinlich
\subsubsection{Hypergeometrische Verteilung}
Einfluss von entfernten Ereignissen auf Wahrscheinlichkeiten von neuen Ziehungen (ohne Zurücklegen).
$$P(X = x)=\frac{\binom{m}{x}\binom{N-m}{n-x}}{\binom{N}{n}}$$
$X \sim \mathrm{Hyper}(N,n,m)$, dabei $N$ die total möglichen Ereignisse, $m$ die Gewinne und es wird $n$ gezogen.
2020-01-03 15:21:09 +01:00
2020-01-06 11:24:33 +01:00
\subsection{Kennwerte}
\subsubsection{Bernoulli-Verteilung}
\begin{center}
\begin{tabular}{rl}
$\mathbb{E}(X) =$ & $\pi$ \\
Var$(X) =$ & $\pi(1-\pi)$ \\
$\sigma_X =$ & $\sqrt{\pi(1-\pi)}$
\end{tabular}
\end{center}
\subsubsection{Binomialverteilung}
\begin{center}
\begin{tabular}{rl}
$\mathbb{E}(X) =$ & $n\pi$ \\
Var$(X) =$ & $n\pi(1-\pi)$ \\
$\sigma_X =$ & $\sqrt{n\pi(1-\pi)}$
\end{tabular}
\end{center}
\subsubsection{Poisson-Verteilung}
\begin{center}
\begin{tabular}{rl}
$\mathbb{E}(X) =$ & $\lambda$ \\
Var$(X) =$ & $\lambda$ \\
$\sigma_X =$ & $\sqrt{\lambda}$
\end{tabular}
\end{center}
\subsubsection{Geometrische Verteilung}
\begin{center}
\begin{tabular}{rl}
$\mathbb{E}(X) =$ & $\frac{1}{\pi}$ \\
Var$(X) =$ & $\frac{1-\pi}{\pi^2}$ \\
$\sigma_X =$ & $\frac{\sqrt{1-\pi}}{\pi}$
\end{tabular}
\end{center}
\subsubsection{Hypergeometrische Verteilung}
\begin{center}
\begin{tabular}{rl}
$\mathbb{E}(X) =$ & $\frac{nm}{M}$ \\
Var$(X) =$ & $\frac{nm(N-m)(N-n)}{N^2(N-1)}$ \\
$\sigma_X =$ & $\sqrt{\frac{nm(N-m)(N-n)}{N^2(N-1)}}$
\end{tabular}
\end{center}
2020-01-03 15:21:09 +01:00
\section{Statistik für Zähldaten}
\begin{enumerate}
\item \textbf{Grundfragestellung:} Welches ist der zu den Beobachtungen plausibelste Parameterwert? Die Antwort auf diese Frage heisst (Punkt-)Schätzung.
\item \textbf{Grundfragestellung:} Sind die Beobachtungen kompatibel (statistisch vereinbar) mit einem vorgegebenen Parameterwert? Die Antwort auf diese 2. Grundfrage heisst statistischer Test.
\item \textbf{Grundfragestellung:} Grundfragestellung: Welche Parameterwerte sind mit den Beobachtungen kompatibel (statistisch vereinbar)? Die Antwort auf diese 3. Grundfrage heisst Vertrauensintervall. Das Vertrauensintervall ist allgemeiner und informativer als ein statistischer Test.
\end{enumerate}
\subsection{Punktschätzung von Parametern}
$\hat{X}$ bezeichnet den Schätzwert von $X$
\\ \\
2020-01-10 11:05:17 +01:00
Bei \textbf{Binomialverteilung}:
2020-01-03 15:21:09 +01:00
\subsubsection{Momentenmehtode}
Aus $\mathbb{E}(X) = n\pi \Leftrightarrow \pi = \frac{\mathbb{E}(X)}{x}$, daraus $\hat{\mathbb{E}(X)}=x$ und somit
$$\hat{\pi} = \frac{x}{n}$$
\subsubsection{Maximum-Likelihood}
Vorgehen:
\begin{itemize}
\item Funktion $P$ der Wahrscheinlichkeit aufstellen
\item $\log(P)$
\item $\frac{\mathrm{d}P}{\mathrm{d}\pi} = 0$
\item auflösen nach $\pi$
\end{itemize}
2020-01-10 11:05:17 +01:00
Dies ist für eine Binomialverteilung ebenfalls $\hat{\pi} = \frac{x}{n}$
2020-01-03 15:21:09 +01:00
\subsection{Aufbau statistischer Test}
$P(X \geq c)$ für verschiedene $c$
\begin{enumerate}
\item Modell $X$ erstellen
\item Nullhypothese \\
\begin{center}
\begin{tabular}{ll}
$H_0$: & $\pi = \pi_0$
\end{tabular}
\end{center}
und Alternativhypothese
\begin{center}
\begin{tabular}{ll}
$H_A$: & $\pi \neq \pi_0$ (zweiseitig) \\
& $\pi > \pi_0$ (einseitig nach oben) \\
& $\pi < \pi_0$ (einseitig nach unten)
\end{tabular}
\end{center}
oft ist $H_0: \pi = 1/2$ (= reiner Zufall). Man testet also gegen Zufall.
\item Teststatistik $T$ (Anzahl treffer bei $n$ Versuchen), Verteilung unter $H_0: T \sim \mathrm{Bin}(n,\pi_0)$
2020-01-03 15:21:09 +01:00
\item Festlegen von Signifikanzniveau $\alpha$ (meist $\alpha = 0.05$ oder $\alpha = 0.01$)
\item Bestimmung Verwerfungsbereich
$$K = \begin{cases}
[0,c_u] \cup [c_0,n] & H_A: \pi \neq \pi_0 \\ [c,n] & H_A: \pi > \pi_0 \\ [0,c] & H_A: \pi < \pi_0
\end{cases}$$
Wobei $c$ der Wert ist bei dem noch $P(X \leq c) \leq \alpha$ für $H_A: \pi < \pi_0$),\\
analog $P(X \geq c) \leq \alpha$ für $H_A: \pi > \pi_0$
2020-01-03 15:21:09 +01:00
\item Testentscheid: Ist $t \in K$? Falls ja wird $H_0$ verworfen, falls nicht wird sie als korrekt angenommen\footnote{Achtung: Das heisst nicht, dass $H_0$ gültig ist! (Falsifizierbarkeit)}
\end{enumerate}
2020-01-10 11:05:17 +01:00
\textbf{Bsp. Berechnung von $c$} \\
Es sei $X \sim \mathrm{Bin}(150,0.1)$ unter $H_A: \pi < 0.1$. Dann soll
$$P(X \leq c) \leq \alpha$$
Also berechne mit Tabelle (schaue wo $P(X=x) \leq \alpha$ für verschiedene $x$ (kumulativ)) oder R.
\subsubsection{Normalapproximation der Binomialverteilung}
Gilt, wenn $n\pi > 5$ und $n(1-\pi) > 5$ (Faustregel) \\
2020-01-10 11:05:17 +01:00
Für eine Verteilung $X \sim \mathrm{Binom}(n,\pi)$ und $\alpha = 0.05$ gilt für einseitige Tests:
$$c \approx \begin{cases}
n\pi_0+1.64\sqrt{n\pi_0(1-\pi_0)} \mathrm{\; bei \;} H_0: \pi > \pi_0 \mathrm{\; (aufgerundet)} \\
n\pi_0-1.64\sqrt{n\pi_0(1-\pi_0)} \mathrm{\; bei \;} H_0: \pi < \pi_0 \mathrm{\; (abgerundet)} \\
2020-01-10 11:05:17 +01:00
\end{cases}$$
Für einen zweiseitigen Test ($\pi \neq \pi_0$) gilt:
$$c_0 \approx n\pi_0+1.96\sqrt{n\pi_0(1-\pi_0)} \mathrm{\; (aufgerundet)}$$
$$c_u \approx n\pi_0-1.96\sqrt{n\pi_0(1-\pi_0)} \mathrm{\; (abgerundet)}$$
2020-01-03 15:21:09 +01:00
\subsubsection{Fehler 1. und 2. Art}
\label{sec:fehler12}
\begin{enumerate}
\item Art: Fälschliches Verwerfen von $H_0$, obwohl $H_0$ richtig ist.
\item Art: Fälschliches Beibehalten von $H_0$, obwohl $H_A$ zutrifft.
\end{enumerate}
$$P(\mathrm{Fehler \; 1. \; Art}) = P_{H_0}(X \in K)\leq \alpha$$
Fehler 1. Art soll möglichst vermieden werden!
\subsubsection{Macht (Power)}
\label{sec:macht}
2020-01-10 11:05:17 +01:00
$$\mathrm{Macht}:=1-P(\mathrm{Fehler \; 2. \; Art}) = P_{H_A} (X \in K) = P(X \geq c) \mathrm{\; z.B.}$$
2020-01-03 15:21:09 +01:00
Idee: Wie gross muss eine Stichprobe sein, damit mit einer bestimmten Macht $\beta=x$ eine Hypothese bewiesen werden kann auf Signifikanzniveau $\alpha$?
\subsubsection{P-Wert}
Gibt die Wahrscheinlichkeit an, dass die Beobachtung oder extremeres Ereigniss eintritt unter $H_0$
$$P_{H_0}(T \geq t)$$
Es ist auch das kleinste Signifikanzniveau $\alpha$, auf dem $H_0$ gerade noch verworfen wird. \\
Also falls $p$-Wert $> \alpha$ wird $H_0$ beibehalten.
2020-01-06 11:24:33 +01:00
\subsubsection{Vertrauensintervall (VI)}
2020-01-03 15:21:09 +01:00
\label{sec:vertrauensintervall}
$$I:=\{\pi_0;\; \mathrm{Nullhypothese} \; H_0:\pi = \pi_0 \mathrm{wird \; beibehalten}\}$$
2020-01-10 11:05:17 +01:00
Für grosse $n$ gilt
$$I \approx \frac{x}{n} \pm 1.96\sqrt{\frac{x}{n}(1-\frac{x}{n})\frac{1}{n}}$$
2020-01-06 11:24:33 +01:00
Die Werte von $\pi_0$ bei denen $H_0: \pi = \pi_0$ nicht verworfen wird, ist ein $(1-\alpha)$-VI.
2020-01-03 15:21:09 +01:00
$$P_\pi(\pi \in I(X) \gtrapprox 1-\alpha)$$
2020-01-10 11:05:17 +01:00
Ein $(1-\alpha)$-VI, enthält den wahren Parameter $\pi$ mit einer Wahrscheinlichkeit von $(1-\alpha)$ \\
2020-01-03 15:21:09 +01:00
\section{Modelle und Statistik für Zähldaten}
\subsection{Deskriptive Statistik}
\subsubsection{Kennzahlen}
\textbf{Arithmetisches Mittel}
$$\bar{x} = \frac{1}{n}\sum_{i=1}^nx_i$$
\textbf{Empirische Standardabweichung}
$$s_x = \sqrt{\mathrm{Var}} = \sqrt{\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2}$$
\textbf{Quantile} \\
$\alpha$-Quantil \\
"Wert $x$ bei dem $\alpha \cdot 100 \%$-Werte kleiner als $x$ sind"
\subsubsection{Kovarianz und Korrelation}
Gemeinsame Verteilung von zwei Zufallsvariablen $X$ und $Y$ \\
\textbf{Kovarianz}
$$\mathrm{Cov}(X,Y)=\mathbb{E}[(X-\mu_x)(Y-\mu_y)] = \mathbb{E}(XY) - \mathbb{E}(X)\mathbb{E}(Y)$$
es gilt somit auch
$$\mathrm{Cov}(X,X) = \mathrm{Var}(X)$$
\textbf{Korrelation}
$$\mathrm{Cor}(X,Y)=\rho_{XY} = \frac{\mathrm{Cov}(X,Y)}{\sigma_X\sigma_Y}$$
wobei $\rho_{XY} \in [-1,1]$ \\
Falls $X, Y$ unabhängig $\mathrm{Cor}(X,Y) = 0$.\footnote{Aber dies bedeutet nicht, dass falls $\mathrm{Cor}(X,Y) = 0$, $X$ und $Y$ dann unabhängig sind!}
\textbf{Empirische Korrelation}
$$r = \frac{s_{xy}}{s_xs_y}$$
wobei $s_{xy} = \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{n-1}$
\subsubsection{Grafische Methoden}
\textbf{Histogramme} \\
Einteilung in Klassen, auftragen der Beobachtugen je Klasse in Balkendiagramm
2020-01-06 11:24:33 +01:00
\begin{figure}[H]
\centering
\includegraphics[width=.2\textwidth]{histogram.png}
\caption{Histogramm}
\label{fig:histogram}
\end{figure}
2020-01-03 15:21:09 +01:00
\textbf{Boxplot} \\
Rechteck, vom 75\%- und 25\%-Quantil begrenzt
\begin{figure}[H]
\centering
\includegraphics[width=.15\textwidth]{boxplot.png}
2020-01-03 15:21:09 +01:00
\caption{Beispiel Boxplot (IQR = Interquartile-Range)}
\label{fig:boxplot}
\end{figure}
\textbf{Streudiagramm (Scatter-Plot)} \\
Auftragen der Daten $(x_n,y_n)$
2020-01-06 11:24:33 +01:00
\begin{figure}[H]
\centering
\includegraphics[width=.15\textwidth]{scatter.png}
\caption{Streudigramm}
\label{fig:scatter}
\end{figure}
2020-01-03 15:21:09 +01:00
\subsection{Stetige Zufallsvariablen und Wahrscheinlichkeitsverteilungen}
Eine Zufallsvariable $X$ heisst stetig, falls deren Wertebereich $\mathbb{W}_X$ stetig ist \\
Da Punktverteilung
$$P(X=x) = 0, \forall x \in \mathbb{W}_X, \footnote{Da in jedem kontunuierlichen Intervall $\infty$ Werte sind}$$
benötigen wir
$$P(X \in (a,b]) = P(a < X \leq b)$$
\textbf{Kumulative Verteilungsfunktion}
$$F(x) = P(X \leq x)$$
2020-01-06 11:24:33 +01:00
\begin{figure}[H]
\centering
\includegraphics[width=.2\textwidth]{kumulative.png}
\caption{Kumulative Verteilungsfunktion}
\label{fig:kumulative}
\end{figure}
2020-01-10 11:05:17 +01:00
\subsubsection{Wahrscheinlichkeits-Dichte}
2020-01-03 15:21:09 +01:00
$$f(x) = \dot{F}(x) \Longleftrightarrow F(x) = \int_{-\infty}^xf(y)\mathrm{d}y$$
$$f(x) \geq 0, \forall x$$
2020-01-03 15:21:09 +01:00
\subsection{Kennzahlen von stetigen Verteilungen}
\begin{center}
\begin{tabular}{rl}
$\mathbb{E}(X) =$ & $\int_{-\infty}^{\infty}xf(x)\mathrm{d}x$ \\
Var$(X) =$ & $\mathbb{E}((X-\mathbb{E}(X))^2) = \int_{-\infty}^{\infty}(x-\mathbb{E}(X))^2f(x)\mathrm{d}x$ \\
$\sigma(X) =$ & $\sqrt{\mathrm{Var}(X)}$
\end{tabular}
\end{center}
2020-01-06 11:24:33 +01:00
\subsubsection{Quantile}
2020-01-03 15:21:09 +01:00
$$P(X \leq q(\alpha)) = \alpha$$
$q(\alpha)$ ist der Punkt, an dem die Fläche unter der Dichtefunktion $f(x)$ von $-\infty$ bis $q(\alpha)$ gleich $\alpha$ ist. (z.B. beim Median ($\alpha = 50\%$) sind die Flächen darunter und darüber gleich gross)
\subsection{Stetige Verteilungen}
\subsubsection{Uniforme Verteilung}
$X \sim \mathrm{Uniform}([a,b]), \mathbb{W}_X = [a,b]$
$$f(x) = \begin{cases}
\frac{1}{b-a}, \; \mathrm{falls} \; a \leq x \leq b \\
0, \;\;\;\;\;\;\, \mathrm{sonst} %uglyAF
\end{cases}$$
somit ist die kumulative Verteilung
$$F(x) = \begin{cases}
0, \;\;\;\;\;\;\, \mathrm{falls} \; x < a \\
\frac{x-a}{b-a}, \; \mathrm{falls} \; a \leq x \leq b \\
1, \;\;\;\;\;\;\, \mathrm{falls} \; x > b
\end{cases}$$
\textbf{Kennzahlen}
\begin{center}
\begin{tabular}{rl}
$\mathbb{E}(X) =$ & $\frac{a+b}{2}x$ \\
Var$(X) =$ & $\frac{(b-a)^2}{12}$ \\
$\sigma_X =$ & $\frac{b-a}{\sqrt{12}}$
\end{tabular}
\end{center}
\subsubsection{Exponential-Verteilung}
$X \sim \mathrm{Exp}(\lambda), \mathbb{W}_X = [0,\infty), \lambda \in \mathbb{R}^+$
$$f(x) = \begin{cases}
\lambda e^{-\lambda x}, \; \mathrm{falls} \; x \geq 0 \\
0, \;\;\;\;\;\;\;\;\;\; \mathrm{sonst} %uglyAF
\end{cases}$$
also
$$F(x) = \begin{cases}
1 - e^{-\lambda x}, \; \mathrm{falls} \; x \geq 0 \\
0, \;\;\;\;\;\;\;\;\;\;\;\;\;\, \mathrm{falls} \; x < 0
\end{cases}$$
\textbf{Kennzahlen}
\begin{center}
\begin{tabular}{rl}
2020-01-10 11:05:17 +01:00
$\mathbb{E}(X) =$ & $\frac{1}{\lambda}$ \\
2020-01-03 15:21:09 +01:00
Var$(X) =$ & $\frac{1}{\lambda^2}$ \\
$\sigma_X =$ & $\frac{1}{\lambda}$
\end{tabular}
\end{center}
\subsubsection{Normalverteilung (Gauss'sche-Verteilung)}
$X \sim \mathcal{N}(\mu,\sigma^2), \mathbb{W}_X = \mathbb{R}, \mu \in \mathbb{R} \; \mathrm{und} \; \sigma \in \mathbb{R}^+$
$$f(x) = \frac{1}{\sigma\sqrt{2\pi}}\mathrm{exp}\bigg(-\frac{(x-\mu)^2}{2\sigma^2}\bigg)$$
$$F(x) \Rightarrow \mathrm{Tabelle!}$$
\textbf{Kennzahlen}
\begin{center}
\begin{tabular}{rl}
$\mathbb{E}(X) =$ & $\mu$ \\
Var$(X) =$ & $\sigma^2$ \\
$\sigma_X =$ & $\sigma$
\end{tabular}
\end{center}
\textbf{Summe} \\
Seien $X_1 \sim \mathcal{N}(\mu_1,\sigma_1^2)$ i.i.d., $X_2 \sim \mathcal{N}(\mu_2,\sigma_2^2)$ i.i.d. und $Y = X_1 + X_2$ dann ist
$$Y \sim \mathcal{N}(\mu_1 + \mu_2, \sigma_1^2+\sigma_2^2)$$
2020-01-03 15:21:09 +01:00
\subsubsection{Standard-Normalverteilung}
$X \sim \mathcal{N}(0,1), \mathbb{W}_X = \mathbb{R}, \mu = 0 \; \mathrm{und} \; \sigma = 1$
$$\varphi (x) = \frac{1}{\sqrt{2\pi}}\mathrm{exp}\bigg(-\frac{x^2}{2}\bigg)$$
$$\Phi(x) = \int_{-\infty}^x\varphi(y)\mathrm{d}y$$
$$\Phi(-c) = P(X \leq -c) = P(X \geq c) = 1-P(X \leq c) = 1 - \Phi(c)$$
\subsection{Funktionen einer Zufallsvariable}
Sei $g: \mathbb{R} \rightarrow \mathbb{R}$ und $X$ eine Zufallsvariable, so ist
$$Y = g(X)$$
eine Transformation.
$$\mathbb{E}(Y) = \mathbb{E}(g(X)) = \int_{-\infty}^{\infty}g(x)f_X(x) \mathrm{d}x$$
\subsubsection{Lineare Transformation}
Sei $X \sim \mathcal{N}(\sigma,\omega^2)$ und $Y = a+bX$ \\
dann sind
\begin{center}
\begin{tabular}{rl}
$\mathbb{E}(Y) =$ & $a +b\mathbb{E}(X)$ \\
Var$(Y) =$ & $b^2 \cdot \mathrm{Var}(X)$ \\
$\sigma_Y =$ & $|b| \cdot \sqrt{\mathrm{Var}(X)}$ \\
2020-01-03 15:21:09 +01:00
$q_Y(\alpha) =$ & $a+b\cdot q_X(\alpha)$
\end{tabular}
\end{center}
\subsubsection{Standardisieren einer Zufallsvariable}
Überführen von $X$ in eine \textit{Standard-Normalverteilung} $(\mathbb{E} = 0, \sigma = 1)$
$$Z = g(X) = \frac{X-\mathbb{E}(X)}{\sigma_X} = \frac{X-\mu}{\sigma} \sim \mathcal{N}(0,1)$$
\subsubsection{Lognormal-Verteilung}
Sei $Y \sim \mathcal{N}(\mu,\sigma^2)$ dann soll $X = \mathrm{exp}(Y)$ mit $\mu \in \mathbb{R}$ und $\sigma \in \mathbb{R}^+$
$$\mathbb{E}(X) = \mathrm{exp}(\mu + \frac{\sigma^2}{2}) > \mathrm{exp}(\mathbb{E}(Y))$$
\subsubsection{Berechnung von Momenten}
Das $k$-te Moment ist gegeben als
$$m_k = \mathbb{E}(X^k)$$
also z.B.
$$m_2 = \mathbb{E}(X^2) = \int_{-\infty}^\infty x^2 f(x) \mathrm{d}x$$
Verschiebungssatz für die Varianz:
$$\mathrm{Var}(X) = \mathbb{E}(X^2) - \mathbb{E}(X)^2$$
\subsection{Überprüfen der Normalverteilungs-Annahme}
\subsubsection{Q-Q Plot (Quantil-Quantil Plot)}
Man plottet die empirischen Quantile gegen die theoretischen Quantile der Modell-Verteilung. Die Punkte sollten ungefähr auf der Winkelhalbierenden $y = f(x) = x$ liegen.
\subsubsection{Normal-Plot}
\label{sec:normalplot}
Für Klassen von Verteilungen, z.B. Klasse der Normalverteilungen mit verschiedenen $\mu, \sigma$. \\
Sei $X \sim \mathcal{N}(\mu, \sigma^2)$, dann sind die Quantile von X
$$q(\alpha) = \mu + \sigma \Phi^{-1}(\alpha)$$
Ein \textit{Q-Q Plot} bei dem die Modell-Verteilung gleich $\mathcal{N}(0,1)$ ist, heisst Normal-Plot.
\subsection{Funktionen von mehreren Zufallsvariablen}
Statt einer Zufallsvariale $X$ und deren $n$ unabhängigen Realisierungen $x_1, x_2, ... , x_n$, nimmt man oft $X_1, X_2, ... , X_n$. Somit wird $y = g(x_1, x_2, ... , x_n)$ zu einer Funktion von Zufallsvariablen
$$Y = g(X_1, X_2, ... , X_n)$$
\subsubsection{Unabhängigkeit und i.i.d. Annahme}
Unabhängig heisst, dass es keine gemeinsamen Prozesse gibt, die den Ausgang beeinflussen. \\
\textit{Notation}:
$$X_1,X_2,...,X_n \; \mathrm{i.i.d}$$
wobei \textit{i.i.d} für \textit{independent, identically distributed} steht. \\
2020-01-03 15:21:09 +01:00
Es gilt dann immer
$$\mathbb{E}(X_1 + X_2) = \mathbb{E}(X_1) + \mathbb{E}(X_2)$$
wenn $X_1,X_2$ unabhängig, auch
$$\mathrm{Var}(X_1 + X_2) = \mathrm{Var}(X_1) + \mathrm{Var}(X_2),$$
für nicht unabhängig
$$\mathrm{Var}(aX_1 + bX_2) = a^2\mathrm{Var}(X_1) + b^2 \mathrm{Var}(X_2) + 2ab\mathrm{Cov}(X_1,X_2).$$
\subsubsection{Gesetz der grossen Zahlen und $\sqrt{n}$-Gesetz}
Sei $X_1, X_2, ..., X_n \; \mathrm{i.i.d} \sim \mathrm{kumulative \; Verteilungsfunktion} \; F$, dann sind
\begin{center}
\begin{tabular}{rcl}
$\mathbb{E}(\bar{X_n})$ & $=$ & $\mu$ \\
Var$(\bar{X_n})$ & $=$ & $\frac{\sigma_X^2}{n}$ \\
$\sigma(\bar{X_n})$ & $=$ & $\frac{\sigma_X}{\sqrt{n}}$
\end{tabular}
\end{center}
Somit sind für eine doppelte Genauigkeit viermal soviele Messwerte nötig. \\
Standardabweichung von $X_n$ ist der \textit{Standardfehler} des Arithmetischen Mittels.
$$\bar{X_n} \rightarrow \mu(n\rightarrow\infty)$$
\subsubsection{Zentraler Grenzwertsatz}
Sei $X_1, X_2, ..., X_n \; \mathrm{i.i.d}$, dann gilt
$$\bar{X_n} = \mathcal{N}(\mu,\frac{\sigma^2_X}{n})$$
und daraus folgt für die Summe $\sum_{i=1}^nX_i$
$$S_X \approx \mathcal{N}(n\mu,n\sigma^2).$$
Aus
$$Z_n = \frac{\sqrt{n}(\bar{X_n}-\mu)}{\sigma_X} \sim \mathcal{N}(0,1)$$
folgt
$$\forall x: \lim_{n\rightarrow\infty} P(Z_n \leq x) = \Phi(x)$$
\subsubsection{Verletzung der Unabhängigkeit}
Sei $X_1, X_2, ..., X_n \; \neg \; \mathrm{i.i.d}$
$$\mathbb{E}(\bar{X_n}) = \mu$$
$$\mathrm{Var}(\bar{X_n}) = \frac{\sigma_X^2}{n}\bigg(1+\frac{1}{n}\sum_{1\leq i \leq j \leq n} \rho_{X_i X_j}\bigg)$$
mit $\rho_{X_i X_j}$ die Korrelation zwischen $X_i, X_j$ \\
Die Unabhängigkeit führt dazu, dass die Genauigkeit des arithmetischen Mittels beeinflusst wird!
\subsection{Statisitk für eine Stichprobe}
% Wasn't able to fit it into the third-columns
\begin{figure}[H]
\begin{tabular}{l|lccc|c}
\hline
\multirow{2}{*}{} & \multicolumn{4}{c|}{Annahmen} & \multirow{2}{*}{Macht} \\
& \multicolumn{1}{c}{\begin{tabular}[c]{@{}c@{}}$\sigma_X$ \\ bekannt \end{tabular}} & $X_i \sim \mathcal{N}$ & \begin{tabular}[c]{@{}c@{}}sym. \\ Verteilung \end{tabular} & i.i.d. & \\
\hline\hline
z-Test & \multicolumn{1}{c}{$\sbullet$ } & $\sbullet$ & $\sbullet$ & $\sbullet$ & $****$ \\
t-Test & & $\sbullet$ & $\sbullet$ & $\sbullet$ & $***$ \\
Wilcoxon & & \multicolumn{1}{l}{} & $\sbullet$ & $\sbullet$ & $**$ \\
Vorzeichen & & \multicolumn{1}{l}{} & \multicolumn{1}{l}{} & $\sbullet$ & $*$ \\
\hline
\end{tabular}
\caption{Übersicht der verschiedenen Tests für $\mu$}
\label{tab:tests}
\end{figure}
2020-01-03 15:21:09 +01:00
\subsubsection{Punktschätzung}
Betrachtung von Daten $x_1, x_2, ...,x_n$ als Realisierungen von $X_1, X_2, ..., X_n$ i.i.d. \\
Wenn $\mathbb{E}(X_i) = \mu$ und $\mathrm{Var}(X_i) = \sigma_X^2$ gesucht:
\begin{center}
\begin{tabular}{rcl}
$\hat{\mu}$ & $=$ & $\displaystyle\frac{1}{n}\sum_{i=1}^n X_i = X_n$ \\
$\hat{\sigma_X}^2$ & $=$ & $\displaystyle\frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X_n})^2$
\end{tabular}
\end{center}
\subsubsection{z-Test ($\sigma_X$ bekannt)}
\begin{enumerate}
\item \textbf{Modell}: $X_i$ ist eine kontunuierliche Messgrösse und Annahme $X_1, X_2, ..., X_n \; \mathrm{i.i.d.} \; \mathcal{N}(\mu, \sigma_X^2)$
\item \textbf{Nullhypothese}:
\begin{center}
\begin{tabular}{cll}
& $H_0:$ & $\mu = \mu_0$
\end{tabular}
\end{center}
\textbf{Alternativhypothese}:
\begin{center}
\begin{tabular}{clll}
& $H_A:$ & $\mu \neq \mu_0$ & zweiseitig \\
oder & $H_A:$ & $\mu > \mu_0$ & einseitig \\
oder & $H_A:$ & $\mu < \mu_0$ & einseitig \\
\end{tabular}
\end{center}
\item \textbf{Teststatistik}:
$$Z = \frac{(\bar{X_n} - \mu_0)}{\sigma_{X_n}} = \frac{\sqrt{n}(\bar{X_n} - \mu_0)}{\sigma_X} = \frac{\mathrm{beobachtet}-\mathrm{erwartet}}{\mathrm{Standardfehler}}$$
Verteilung der Teststatistik unter $H_0: Z \sim \mathcal{N}(0,1)$
\item \textbf{Signifikanzniveau}: $\alpha$
\item \textbf{Verwerfungsbereich für die Teststatistik}:\\
$$K=\begin{cases}
(-\infty,-\Phi^{-1}(1-\frac{\alpha}{2}]\cup [\Phi^{-1}(1-\frac{\alpha}{2}),\infty), \quad \, \mathrm{bei} \; H_A: \mu \neq \mu_0 \\
2020-01-10 11:05:17 +01:00
(-\infty,-\Phi^{-1}(1-\alpha], \qquad\qquad\qquad\qquad\qquad\kern .025em \mathrm{bei} \; H_A: \mu < \mu_0 \\
[\Phi^{-1}(1-\alpha),\infty), \qquad\qquad\qquad\qquad\qquad\quad\kern 0.25em \mathrm{bei} \; H_A: \mu > \mu_0
2020-01-03 15:21:09 +01:00
\end{cases}$$
\item \textbf{Testentscheid}:\\
Überprüfen ob der beobachtete Wert der Teststatistik im Verwerfungsbereich $K$ liegt.
\end{enumerate}
\subsubsection{Fehler 1./2. Art und Macht}
Es gilt wie in \textit{Kapitel \ref{sec:fehler12}} und \textit{\ref{sec:macht}}. \\
$$P_{\mu_0}(T \in K) = \alpha$$
$$P_\mu(T \in K) = \mathrm{Macht}(\mu)$$
\subsubsection{t-Test ($\sigma_X$ unbekannt)}
2020-01-06 11:24:33 +01:00
\label{sec:ttest}
2020-01-03 15:21:09 +01:00
\begin{enumerate}
\item \textbf{Modell}: $X_i$ ist eine kontinuierliche Messgrösse und Annahme $X_1, X_2, ..., X_n \; \mathrm{i.i.d.} \; \mathcal{N}(\mu, \sigma_X^2)$
\item \textbf{Nullhypothese}:
\begin{center}
\begin{tabular}{cll}
& $H_0:$ & $\mu = \mu_0$
\end{tabular}
\end{center}
\textbf{Alternativhypothese}:
\begin{center}
\begin{tabular}{clll}
& $H_A:$ & $\mu \neq \mu_0$ & zweiseitig \\
oder & $H_A:$ & $\mu > \mu_0$ & einseitig \\
oder & $H_A:$ & $\mu < \mu_0$ & einseitig \\
\end{tabular}
\end{center}
\item \textbf{Teststatistik}:
$$\hat{\sigma_X} = \sqrt{\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X_n})^2}$$
$$T = \frac{\sqrt{n}(\bar{X_n} - \mu_0)}{\hat{\sigma_X}} = \frac{\mathrm{beobachtet}-\mathrm{erwartet}}{\mathrm{geschätzter \; Standardfehler}}$$
Verteilung der Teststatistik unter $H_0: T \sim t_{n-1}$
\item \textbf{Signifikanzniveau}: $\alpha$
\item \textbf{Verwerfungsbereich für die Teststatistik}:\\
$$K=\begin{cases}
(-\infty,-t_{n-1;1-\frac{\alpha}{2}}] \cup [t_{n-1;1-\frac{\alpha}{2}},\infty), \quad \;\; \mathrm{bei} \; H_A: \mu \neq \mu_0 \\
2020-01-10 11:05:17 +01:00
(-\infty,-t_{n-1;1-\alpha}], \qquad\qquad\qquad\qquad\kern 1.6em \mathrm{bei} \; H_A: \mu < \mu_0 \\
[t_{n-1;1-\alpha},\infty), \qquad\qquad\qquad\qquad\qquad\quad\kern 0.25em \mathrm{bei} \; H_A: \mu > \mu_0
2020-01-03 15:21:09 +01:00
\end{cases}$$
\item \textbf{Testentscheid}:\\
Überprüfen ob der beobachtete Wert der Teststatistik im Verwerfungsbereich $K$ liegt.
\end{enumerate}
\subsubsection{P-Wert des \textit{t-Tests}}
\label{sec:pval}
$$\mathrm{P-Wert} = P(|T| > |t|) = 2\bigg(1-F_{t_{n-1}}\bigg(\frac{\sqrt{n}|\bar{x_n}-\mu_0|}{\hat{\sigma_X}}\bigg)\bigg)$$
wobei $F_{t_{n-a}}$ die kumulative Verteilungsfunktion der t-Verteilung mit $n-1$ Freiheitsgraden ist ($F_{t_{n-1}}(t) = P(T \leq t),T \sim t_{n-1}$)
\subsubsection{Vertrauensintervall für $\mu$}
Vgl. auch \ref{sec:vertrauensintervall}\\
2020-01-10 11:05:17 +01:00
Für einseitige Intervalle
$$\mu_0 \leq \bar{x_n}+\frac{\hat{\sigma_X}\cdot t_{n-1;1-\alpha}}{\sqrt{n}} \mathrm{\; und \;} \mu_0 \geq \bar{x_n}-\frac{\hat{\sigma_X}\cdot t_{n-1;1-\alpha}}{\sqrt{n}}$$
und das zweiseitige Intervall
2020-01-03 15:21:09 +01:00
$$I = \bigg[\bar{x_n} - t_{n-1;1-\frac{\alpha}{2}}\frac{\hat{\sigma_X}}{\sqrt{n}},\bar{x_n} + t_{n-1;1-\frac{\alpha}{2}}\frac{\hat{\sigma_X}}{\sqrt{n}}\bigg]$$
\subsubsection{Vorzeichentest}
\begin{enumerate}
\item \textbf{Modell}: $X_1, X_2, ..., X_n \; \mathrm{i.i.d.}$ wobei $X_i$ eine beliebige Verteilung hat \\
\item \textbf{Nullhypothese}:
$$H_0: \mu = \mu_0 \mathrm{\; (\mu \; ist \; der \; Median)}$$
\textbf{Alternativhypothese}:
\begin{center}
\begin{tabular}{clll}
& $H_A:$ & $\mu \neq \mu_0$ & zweiseitig \\
oder & $H_A:$ & $\mu > \mu_0$ & einseitig \\
oder & $H_A:$ & $\mu < \mu_0$ & einseitig \\
\end{tabular}
\end{center}
\item \textbf{Teststatistik}: \\
$V$: Anzahl $X_i$ mit $X_i > \mu_0$ \\
Verteilung der Teststatistik unter $H_0: V \sim \mathrm{Bin}(n,\pi_0)$, mit $\pi_0 = 0.5$
\item \textbf{Signifikanzniveau}: $\alpha$ \\
\item \textbf{Verwerfungsbereich für die Teststatistik}: \\
$$K=\begin{cases}
[0,c_u] \cup [c_0,n], \quad \;\; \mathrm{bei} \; H_A: \mu \neq \mu_0 \\
2020-01-10 11:05:17 +01:00
[0,c], \qquad\qquad\kern 2.1em \mathrm{bei} \; H_A: \mu < \mu_0 \\
[c,n], \qquad\qquad\quad\kern 1em \mathrm{bei} \; H_A: \mu > \mu_0
2020-01-03 15:21:09 +01:00
\end{cases}$$
\item \textbf{Testentscheid}: \\
Überprüfen ob der beobachtete Wert der Teststatistik im Verwerfungsbereich $K$ liegt.
\end{enumerate}
\subsubsection{Wilcoxon-Test}
Voraussetzung: Realisierungen von $X_1, X_2, ..., X_n \; \mathrm{i.i.d.}$, stetig und symetrisch bezgl. $\mu = \mathbb{E}(X_i)$ \\
Für Berechnung benutze R (\ref{sec:wilcoxon})
\subsection{Statisitk für zwei Stichproben}
\subsubsection{Gepaarte Stichprobe}
2020-01-06 11:24:33 +01:00
\label{sec:paired}
Ligt vor falls:
\begin{itemize}
\item beide Versuchsbedingungen an derselben Versuchseinheit eingesetzt werden
\item oder jeder Versuchseinheit aus der einen Gruppe genau eine Versuchseinheit aus der anderen Gruppe zugeordnet werden kann.
\end{itemize}
Die Daten entsprechen
$$x_1,...x_n \mathrm{unter \; Versuchsbedingung \; 1}$$
$$y_1,...y_n \mathrm{unter \; Versuchsbedingung \; 2}$$
wobei dasselbe $n$ für beide nötig ist. \\
\textbf{Gepoolte Varianz}
$$S_\mathrm{pool}=\sqrt{\frac{\hat{\sigma}_X^2+\hat{\sigma}_Y^2}{2}}$$
2020-01-06 11:24:33 +01:00
\subsubsection{t-Test für gepaarte Stichproben}
$$d_i = x_i - y_i, i \in \mathbb{N} \leq n$$
$d_i$ seinen Realisierungen von $D_1,...D_n$ i.i.d. Somit vereinfacht sich die Betrachtung zu einer Variable auf welche wir den \textit{t-Test} aus \ref{sec:ttest} anwenden können.
\subsubsection{Ungepaarte Stichproben}
Falls eine Paarung wie in \ref{sec:paired} nicht möglich ist und die Daten
$$X_1,...X_n \mathrm{i.i.d}$$
$$Y_1,...Y_m \mathrm{i.i.d}$$
entsprechen, wobei $m \neq n$ nicht zwingend notwendig ist. Entscheidend ist, dass $x_i$ und $yi$ zu verschiedenen Versuchseinheiten gehören und als unabhängig angenommen werden können.
2020-01-06 11:24:33 +01:00
\subsubsection{t-Test für ungepaarte Stichproben}
\begin{enumerate}
\item \textbf{Modell}:
$$X_1,...X_n \mathrm{i.i.d} \sim \mathcal{N}(\mu_X,\sigma^2)$$
$$Y_1,...Y_m \mathrm{i.i.d} \sim \mathcal{N}(\mu_Y,\sigma^2)$$
\item \textbf{Nullhypothese}:
\begin{center}
\begin{tabular}{cll}
& $H_0:$ & $\mu_X = \mu_Y$
\end{tabular}
\end{center}
\textbf{Alternativhypothese}:
\begin{center}
\begin{tabular}{clll}
& $H_A:$ & $\mu_X \neq \mu_Y$ & zweiseitig \\
oder & $H_A:$ & $\mu_X > \mu_Y$ & einseitig \\
oder & $H_A:$ & $\mu_X < \mu_Y$ & einseitig \\
\end{tabular}
\end{center}
\item \textbf{Teststatistik}:
$$T = \frac{\bar{X_n}-\bar{Y_m}}{S_{pool}\sqrt{\frac{1}{n}+\frac{1}{m}}}$$
wobei
\begin{center}
\begin{tabular}{rl}
$\displaystyle S_{pool}$ & $\displaystyle = \sqrt{\frac{1}{n+m-2}\bigg(\sum_{i=1}^n(X_i-\bar{X_n})^2+\sum_{i=1}^m(Y_i-\bar{Y_m})^2\bigg)}$ \\
& $\displaystyle = \sqrt{\frac{(n-1)\hat{\sigma_X}^2+(m-1)\hat{\sigma_Y}^2}{n+m-2}}$
2020-01-06 11:24:33 +01:00
\end{tabular}
\end{center}
Verteilung der Teststatistik unter $H_0: T \sim t_{n+m-2}$
\item \textbf{Signifikanzniveau}: $\alpha$
\item \textbf{Verwerfungsbereich für die Teststatistik}:\\
$$K=\begin{cases}
(-\infty,-t_{n+m-2;1-\frac{\alpha}{2}}] \cup [t_{n+m-2;1-\frac{\alpha}{2}},\infty), \quad \;\; \mathrm{bei} \; H_A: \mu_X \neq \mu_Y \\
2020-01-10 11:05:17 +01:00
(-\infty,-t_{n+m-2;1-\alpha}], \qquad\qquad\qquad\qquad\kern 3.2em \mathrm{bei} \; H_A: \mu_X < \mu_Y \\
[t_{n+m-2;1-\alpha},\infty), \qquad\qquad\qquad\qquad\qquad\quad\kern 2em \mathrm{bei} \; H_A: \mu_X > \mu_Y
2020-01-06 11:24:33 +01:00
\end{cases}$$
\item \textbf{Testentscheid}:\\
Überprüfen ob der beobachtete Wert der Teststatistik im Verwerfungsbereich $K$ liegt.
\end{enumerate}
\subsubsection{Zwei-Stichproben Wilcoxon-Test (Mann-Whitney Test)}
Seien zwei Stichproben
$$X_1,...X_n \mathrm{i.i.d} \sim \mathcal{N}(\mu_X,\sigma^2)$$
$$Y_1,...Y_m \mathrm{i.i.d} \sim \mathcal{N}(\mu_Y,\sigma^2)$$
und $F_X$ eine beliebige Verteilungsfunktion.
Wir definieren nun
$$F_Y(x):=F_X(x-\delta)$$
was einer verschobenen Funktion von $F_X$ entspricht.
2020-01-03 15:21:09 +01:00
\section{Regression}
\subsection{Einfache Lineare Regression}
\subsubsection{Modell}
\label{sec:regmod}
$$y_i = \beta_0 + \beta_1x_i+E_i,$$
wobei $i \in \mathbb{N} \leq n$, $E_i \sim \mathcal{N}(0,\sigma^2)$, $E_1,...E_n$ i.i.d., $\mathbb{E}(E_i) = 0$ und $\mathrm{Var}(E_i) = \sigma^2$ \\
$Y$ bezeichnen wir als \textbf{Zielvariable (response variable)}, $x$ als \textbf{erklärende Variable (explanatory/predictor variable)} oder \textbf{Co-Variable (covariate)} und $E_i$ als Störfaktor (zufällig)
2020-01-06 11:24:33 +01:00
\begin{figure}[H]
\centering
\includegraphics[width=.12\textwidth]{sreg.png}
\caption{Einfache lineare Regression mit Residuen}
\label{fig:sreg}
\end{figure}
2020-01-03 15:21:09 +01:00
\subsubsection{Parameterschätzung}
Das Modell aus \ref{sec:regmod} mit der \textit{Methode der kleinsten Quadrate} liefert
$$\hat{\beta_0},\hat{\beta_1} \mathrm{\; Minimierung \; von \;} \sum_{i=1}^n(Y_i-(\beta_0+\beta_1x_i))^2,$$
daraus ergibt sich
2020-01-10 11:05:17 +01:00
$$\hat{\beta_1} = \frac{\sum_{i=1}^n(y_i-\bar{y})(x_i-\bar{x})}{\sum_{i=1}^n(x_i-\bar{x})^2}$$
2020-01-03 15:21:09 +01:00
und
2020-01-10 11:05:17 +01:00
$$\hat{\beta_0} = \bar{y} - \hat{\beta_1}\bar{x}$$
2020-01-03 15:21:09 +01:00
dabei gilt
$$\mathbb{E}(\hat{\beta_0}) = \beta_0, \mathbb{E}(\hat{\beta_1}) = \beta_1$$
Für den \textbf{Standardfehler} gilt
2020-01-10 11:05:17 +01:00
$$s(\hat{\beta_1}) = \frac{\sigma}{\sqrt{\sum_{i=1}^n(x_i-\bar{x})^2}}.$$
2020-01-03 15:21:09 +01:00
Die \textbf{Residuen}
$$R_i = Y_i - (\hat{\beta_0}+\hat{\beta_1)x_i}, i \in \{1,2,...,n\}$$
somit approximieren wir $E_i \approx R_i$ und daraus
$$\hat{\sigma}^2 = \frac{1}{n-2}\sum_{i=1}^nR_i^2$$
\subsection{Tests und Vertrauensintervalle der einfachen linearen Regression}
\subsubsection{t-Test in der Regression}
\begin{enumerate}
\item \textbf{Modell}: \\
$$Y_i = \beta_0 + \beta_1x_i + E_i$$ \\
$$E_1, E_2, ..., E_n \; \mathrm{i.i.d.} \; \mathcal{N}(0, \sigma_X^2)$$
\item \textbf{Nullhypothese}:
$$H_0: \beta_1 = 0$$
2020-01-03 15:21:09 +01:00
\textbf{Alternativhypothese}:
$$H_A: \beta_1 \neq 0$$
\item \textbf{Teststatistik}:
$$T = \frac{\hat{\beta_1}-0}{\hat{s}(\hat{\beta_1})} = \frac{\mathrm{beobachtet}-\mathrm{erwartet}}{\mathrm{geschätzter \; Standardfehler}}$$
Dabei ist $\hat{s}$ der geschätzte Standardfehler $\sqrt{\widehat{\mathrm{Var}}(\hat{\beta_1})} = \frac{\hat{\sigma}}{\sqrt{\sum_{i=1}^n(x_i-\bar{x_n})^2}}$
Verteilung der Teststatistik unter $H_0: T \sim t_{n-2}$
\item \textbf{Signifikanzniveau}: $\alpha$
\item \textbf{Verwerfungsbereich für die Teststatistik}:\\
$$K=(-\infty,-t_{n-2;1-\frac{\alpha}{2}}] \cup [t_{n-2;1-\frac{\alpha}{2}},\infty)$$
\item \textbf{Testentscheid}:\\
Überprüfen ob der beobachtete Wert der Teststatistik im Verwerfungsbereich $K$ liegt.
\end{enumerate}
Analog funktioniert auch ein \textit{t-Test} für $H_0: \beta_0 = 0, H_A: \beta_0 \neq 0$
\subsubsection{t-Wert}
$$\frac{\hat{\beta_i}}{s(\hat{\beta_i})}$$
2020-01-03 15:21:09 +01:00
\subsubsection{P-Wert}
Vgl. dazu \ref{sec:pval}, jedoch anstatt $n-1$ sind es hier $n-2$ Freiheitsgrade. Der P-Wert der Regression wird meist nicht von Hand berechnet (vgl. \ref{sec:rreg}).
\subsubsection{Vertrauensintervalle}
Die zweiseitigen Vertrauensintervalle für $\beta_i (i = 0, 1)$ zum Niveau $1 - \alpha$ sind gegeben durch
$$[\hat{\beta_i}-\hat{s}(\hat{\beta_i})t_{n-2;1-\frac{\alpha}{2}},\hat{\beta_i}+\hat{s}(\hat{\beta_i})t_{n-2;1-\frac{\alpha}{2}}]$$
Für grosse $n$ approximieren wir $t_{n-2;1-\frac{\alpha}{2}}$ mit $\Phi^{-1}(1-\frac{\alpha}{2})$, somit für 95\%-Vertruaensintervalle
$$[\hat{\beta_i}-2\hat{s}(\hat{\beta_i}),\hat{\beta_i}+2\hat{s}(\hat{\beta_i})]$$
\subsubsection{Bestimmtheitsmass $R^2$}
\label{sec:r2}
Sei $\hat{y_i} = \hat{\beta_0}+\hat{\beta_1}x_i$ der Wert auf der Regressionsgerade am Punkt $x_i$, dann gilt
$$\underbrace{\sum_{i=1}^n(y_i-\bar{y})^2}_{SS_Y}=\underbrace{\sum_{i=1}^n(y_i-\hat{y_i})^2}_{SS_E}+\underbrace{\sum_{i=1}^n(\hat{y_i}-\bar{y})^2}_{SS_R}$$
wobei
\begin{itemize}
\item $SS_Y$: die totale Variation der Zielvariablen (ohne Einfluss der erklärenden Variablen $x$)
\item $SS_E$: die Variation des Fehlers (Residuen-Quadratsumme)
\item $SS_R$: die Variation, welche durch die Regression erklärt wird (Einfluss der erklärenden Variablen $x$).
\end{itemize}
Wir definieren
$$R^2:=\frac{SS_R}{SS_Y}, R^2 \in [0,1]$$
als Mass für den Antwil der totalen Variation, welche durch die Regression erklärt wird. \\
Wenn $R^2$ gegen $1$ geht ist es eine "gute" Regression.
$$R^2 = \hat{\rho}_{Y\hat{Y}}^2$$
\subsubsection{Vorgehen bei einfacher linearer Regression}
\begin{enumerate}
\item Plotten von $Y$ und $x$ in einem Streudiagramm. Überprüfen, ob eine lineare Regression überhaupt sinnvoll ist.
\item Anpassen der Regressionsgeraden; d.h. Berechnung der Punktschätzer $\beta_0, \beta_1$
\item Testen ob erklärende Variable $x$ einen Einfluss auf die Zielvariable $Y$ hat mittels \textit{t-Test} für $H_0 : \beta_1 = 0$ und $H_A : \beta_1 \neq 0$. Falls dieser Test ein nicht-signifikantes Ergebnis liefert, so hat die erklärende Variable keinen signifikanten Einfluss auf die Zielvariable.
\item Testen ob Regression durch Nullpunkt geht mit \textit{t-Test} für $H_0 : \beta_1 = 0$ und $H_A : \beta_1 \neq 0$. Falls dieser Test ein nicht-signifikantes Ergebnis liefert, so kann man das kleinere Modell mit Regression durch Nullpunkt benutzen (ohne Achsenabschnitt $\beta_0$).
\item Bei Interesse: Angabe von Vertrauensintervallen für $\beta_0$ und $\beta_1$.
\item Angabe des Bestimmtheitsmass $R^2$. Dies ist in gewissem Sinne eine informellere (und zusätzliche) Quantifizierung als der statistische Test in Punkt 3.
\item Überprüfen der Modell-Voraussetzungen mittels Residuenanalyse (vgl. \ref{sec:resid}).
\end{enumerate}
\subsection{Residuenanalyse}
\label{sec:resid}
\textbf{Annahmen und deren Überprüfung}:
\begin{enumerate}
\item $\mathbb{E}(E_i)=0$ (\textit{Tukey-Anscombe Plot}, vgl. \ref{sec:tukey}) \\
Es gilt $\mathbb{E}(Y_i)=\beta_0+\beta_1x_i+\mathbb{E}(E_i)=\beta_0+\beta_1x_i$, sodass keine systematischen Fehler auftreten können. Dennoch können Abweichungen auftreten (z.B. komplizierte quadr. Verteilung)
\item $E_1,E_2,...,E_n$ i.i.d. (Plot bzgl. \textit{serieller Korrelation}, \textit{Tukey-Anscombe}) \\
Die Fehler müssen unabhängig voneinander sein, insbesondere sind $\mathrm{Cor}(E_i,E_j) = 0$ für $i \neq j$, was bedeutet, dass keine \textit{serielle Korrelation} auftritt. Da die Fehler gleich verteilt sein müssen, ist die Varianz der Fehler auch gleich.
\item $E_1,E_2,...,E_n$ i.i.d. $\mathcal{N}(0,\sigma^2)$ \\
Es wird angenommen, dass die Fehler normalverteilt sind. Überprüfung mit Normalplot der Residuen.
\end{enumerate}
\subsubsection{Tukey-Anscombe Plot}
\label{sec:tukey}
Plotten der Residuen $R_i$ gegen die angepassten Werte $\hat{y_i}$. \\
Idealerweise sind die Punkte gleichmässig um $0$ gestreut.
Bei verletzen Modellannehmen können auftreten:
\begin{itemize}
\item Kegelförmiges anwachsen von $\hat{y_i}$. Falls $\hat{y_i} > 0$ versuche
$$\log(Y_i) = \beta_0+\beta_1 x_i + E_i$$
\item Ausreisser (Versuche robuste Regression)
\item Unregelmässige Struktur (möglicherweise kein linearer Zusammenhang)
\end{itemize}
\subsubsection{Serielle Korrelation}
Überprüfung der Unabhängigkeitsannahme der $E_1, E_2, ..., E_n$: Plotten von $r_i$ gegen $i$. \\
Dabei sollte eine gleichmässige Verteilung um $0$ entstehen.
\subsubsection{Normaleplot}
Wie in \ref{sec:normalplot} erwarten wir möglichst eine Gerade, falls die Fehler normalverteilt sind.
\subsection{Multiple lineare Regression}
Oft sind erklärende Variablen $x_{i,1},...,x_{i,p-1}; (p>2)$
\subsubsection{Modell}
$$Y_i = \beta_0 + \sum_{j=1}^{p-1}\beta_jx_{i,j}+E_i, i \in \mathbb{N} \leq n$$
$$E_1, E_2, ..., E_i \mathrm{\; i.i.d.},\mathbb{E}(E_i)=0, \mathrm{Var}(E_i)=\sigma^2$$
In Matrixschreibweise:
$$\underbrace{Y}_{n \times 1} = \underbrace{X}_{n \times p}\times\underbrace{\beta}_{p \times 1}+\underbrace{E}_{n \times 1}$$
wobei:
\begin{itemize}
\item $Y = (Y_1,...,Y_n)^T$ \\
\item $X: (n \times p)$-Matrix mit Spaltenvektoren $(1,1,...1)^T,(x_{1,1},x_{2,1},...,x_{n,1})^T,...,(x_{1,p-1},x_{2,p-1},...,x_{n,p-1})^T$\\
\item $\beta = (\beta_0,...,\beta_{p-1})$, der Parametervektor \\
\item $E = (E_1, ..., E_n)^T$, der Fehlervektor
\end{itemize}
Somit ist eine \textbf{einfache lineare Regression} \\
\begin{center}
\begin{tabular}{ccc}
$$p = 2,$$ & $$X = \begin{pmatrix}
1 & x_1 \\
1 & x_2 \\
\vdots & \vdots \\
1 & x_n
\end{pmatrix},$$ & $$\beta = \begin{pmatrix}
\beta_0 \\
\beta_1
\end{pmatrix}^T$$
\end{tabular}
\end{center}
Analog dazu für \textbf{lineare Regression mit mehreren erklärenden Varablen}
$Y_i = \beta_0 + \beta_1x_{i,1}+\beta_2x_{i,2} + E_i, i \in \mathbb{N} \leq n$
\begin{center}
\begin{tabular}{ccc}
$$p = 3,$$ & $$X = \begin{pmatrix}
1 & x_{1,1} & x_{1,2} \\
1 & x_{2,1} & x_{2,2} \\
\vdots & \vdots & \vdots \\
1 & x_{n,1} & x_{n,2}
\end{pmatrix},$$ & $$\beta = \begin{pmatrix}
\beta_0 \\
\beta_1 \\
\beta_2
\end{pmatrix}^T$$
\end{tabular}
\end{center}
ebenfalls für \textbf{lineare Regression mit quadratisch erklärenden Varablen}
$Y_i = \beta_0 + \beta_1x_{i}+\beta_2x_{i}^2 + E_i, i \in \mathbb{N} \leq n$
\begin{center}
\begin{tabular}{ccc}
$$p = 3,$$ & $$X = \begin{pmatrix}
1 & x_{1} & x_{1}^2 \\
1 & x_{2} & x_{2}^2 \\
\vdots & \vdots & \vdots \\
1 & x_{n} & x_{n}^2
\end{pmatrix},$$ & $$\beta = \begin{pmatrix}
\beta_0 \\
\beta_1 \\
\beta_2
\end{pmatrix}^T$$
\end{tabular}
\end{center}
und schlussendlich für eine \textbf{Regression mit transformierten erklärenden Varablen} \\
$Y_i = \beta_0 + \beta_1\log(x_{i,2})+\beta_2\sin(\pi x_{i,3}) + E_i, i \in \mathbb{N} \leq n$
\begin{center}
\begin{tabular}{ccc}
$$p = 3,$$ & $$X = \begin{pmatrix}
1 & \log(x_{1,2}) & \sin(\pi x_{1,3}) \\
1 & \log(x_{2,2}) & \sin(\pi x_{2,3}) \\
\vdots & \vdots & \vdots \\
1 & \log(x_{n,2}) & \sin(\pi x_{n,3})
\end{pmatrix},$$ & $$\beta = \begin{pmatrix}
\beta_0 \\
\beta_1 \\
\beta_2
\end{pmatrix}^T$$
\end{tabular}
\end{center}
\subsubsection{Interpretation}
\begin{itemize}
\item Bei \textbf{einfacher linearer Regression} ist $\beta_1$ die erwartete Zunahme der Zielgrösse bei Erhöhung von $x_1$ um eine Einheit.
\item Bei \textbf{multipler linearer Regression} ist $\beta_i$ die erwartete Zunahme der Zielgrösse bei Erhöhung von $x_i$ um eine Einheit - bei \textbf{Fixierung der anderen Variablen}.
\end{itemize}
2020-01-06 11:24:33 +01:00
\subsubsection{Parameterschätzung und t-Test}
2020-01-03 15:21:09 +01:00
Auch hier benutzen wir die \textit{Methode der kleinsten Quadrate}. \\
$$\hat{\beta_0},\hat{\beta_1},...,\hat{\beta}_{p-1} \mathrm{\; Minimierung \; von \;} \sum_{i=1}^n(Y_i-(\beta_0+\beta_1x_{i,1}+...+\beta_{p-1}x_{i,p-1}))^2,$$
falls $p < n$
$$\hat{\beta} = (X^TX)^{-1}X^TY.$$
Für die Fehlervarianz
$$\hat{\sigma} = \frac{1}{n-p}\sum_{i=1}^nR^2_i,R_i = Y_i - \bigg(\hat{\beta}_0+\sum_{j=1}^{p-1}\hat{\beta}_jx_{i,j}\bigg)$$
2020-01-06 11:24:33 +01:00
Den \textit{t-Test} können wir analog zur \textit{einfachen Regression} mit
\begin{center}
\begin{tabular}{ll}
$H_0: \beta_j = 0$ & \multirow{2}{*}{$, j \in \mathbb{N} \leq p-1$} \\
$H_A: \beta_i \neq 0$ &
\end{tabular}
\end{center}
durchführen. Dabei misst $\beta_i$ den linearen Effekt der $i$-ten erklärenden Variable auf Zielvariable $Y$ \textbf{nach Elimination} der linearen Effekte auf $Y$ aller anderen Variablen. Es ist nicht möglich, durch direkte einfach lineare Regression von $Y$ zur $j$-ten erklärenden Variable $\beta_j$ zu erhalten!
2020-01-03 15:21:09 +01:00
\subsubsection{F-Test}
Prüft, ob es mindestens eine erklärende Variable gibt, die einen signifikanten Effekt auf die Zielvariable hat.
\begin{center}
\begin{tabular}{lll}
$H_0:$ & $\beta_1 = ... = \beta_{p-1} = 0$ \\
$H_A:$ & mindestens ein $\beta_j \neq 0$, & $j \in \mathbb{N} \leq p-1 $
\end{tabular}
\end{center}
Hier können einzelne Variablen signifikant sein und andere nicht. Bei starker Korrelation zwischen zwei kann man eine weglassen, da keine neue Information.
\subsubsection{Bestimmtheitsmass $R^2$}
Es gilt wie in \ref{sec:r2}
$$R^2 = \hat{\rho}_{Y\hat{Y}}^2$$
2020-01-06 11:24:33 +01:00
\scriptsize
2020-01-03 15:21:09 +01:00
2020-01-06 11:24:33 +01:00
\end{multicols*}
\newpage
\begin{multicols*}{2}
\section{R}
\subsection{diskrete Verteilungen}
\begin{lstlisting}
# d... berechnet P(X = x)
# p... berechnet P(X <= x)
# q... berechnet Quantile der Verteilung
# r... zieht eine bestimmte Anzahl Realisierungen der gewaehlten Verteilung
\end{lstlisting}
\subsubsection{Binomialverteilung}
\begin{lstlisting}
dbinom(x = 5, size = 10, prob = 0.5) # Berechnet P(X = 5) fuer X ~ Binomial(10, 0.5)
pbinom(q = 5, size = 10, prob = 0.5) # Berechnet P(X <= 5) fuer X ~ Binomial(10, 0.5)
qbinom(p = 0.2, size = 10, prob = 0.5) # Berechnet das 20%-Quantil fuer X ~ Binomial(10, 0.5)
rbinom(n = 100, size = 10, prob = 0.5) # Zieht zufaellig n=100 Realisierungen von X ~ Binomial(10, 0.5)
# (fuehren Sie den oberen Befehl rbinom 2x aus, Sie erhalten andere Werte)
\end{lstlisting}
\subsubsection{Poissonverteilung}
\begin{lstlisting}
dpois(x = 5, lambda = 2) # Berechnet P(X = 5) fuer X ~ Poisson(2)
ppois(q = 5, lambda = 2) # Berechnet P(X <= 5) fuer X ~ Poisson(2)
qpois(p = 0.2, lambda = 2) # Berechnet das 20%-Quantil fuer X ~ Poisson(2)
rpois(n = 100, lambda = 2) # Zieht n=100 Realisierungen von X ~ Poisson(2)
\end{lstlisting}
\subsubsection{Binomialtest}
\begin{lstlisting}
## Der Binomialtest kann in R mit dem Befehl binom.test(...) durchgefuehrt werden.
## Die Argumente der Funktion sind:
## - x: Der beobachtete Wert der Teststatistik
## - n, p: Die Parameter der Verteilung der Teststatistik (Binomial(n,p)) unter der Nullhypothese
## - alternative:
## Die Wahl der Alternativhypothese. Moegliche Optionen sind:
## - "less" fuer H_A: pi < pi_0
## - "greater" fuer H_A: pi > pi_0
## - "two.sided" fuer H_A: pi ungleich pi_0
## - conf.level:
## Das Konfidenzniveau fuer das Vertrauensintervall. Entspricht (1 - Signifikanzniveau).
## Beispiel:
## Wir vermuten, dass ein Wuerfel zu viele 6er wuerfelt.
## Wir haben in 50 Wuerfen 13 mal eine sechs gewuerfelt.
## Wir moechten auf dem 1%-Signifikanzniveau testen, ob der Wuerfel zu viele 6er wuerfelt.
binom.test(x = 13, n = 50, p = 1/6, alternative = "greater", conf.level = 0.99)
\end{lstlisting}
\subsection{Kennzahlen}
\begin{lstlisting}
## Wir haben folgende Daten beobachtet / gemessen
x <- c(1.1, 2.3, -2.4, 3.9, 5.1, -1.7, 2.0, -1.1, 3.4, 0.7)
y <- c(0.8, 2.1, -1.3, 1.0, 0.4, -3.2, 3.1, -0.1, 5.1, 4.3)
mean(x) # arithmetisches Mittel
var(x) # Varianz
sd(x) # Standardabweichung
max(x) # Maximum
min(x) # Minimum
median(x) # Median
quantile(x, probs = 0.25) # empirisches 25%-Quantil
summary(x) # Gibt Ueberblick ueber einige Kennzahlen
cor(x,y) # Empirische Korrelatin von x und y
\end{lstlisting}
\subsection{Grafische Methoden}
\begin{lstlisting}
plot(x, y) # Streudiagramm von x und y
hist(x) # Histogramm Typ "Frequency" (siehe VL 8)
hist(x, freq = FALSE) # Histogramm Typ "Density" (siehe VL 8)
hist(x, breaks = 10) # mit breaks = ... kann die Anzahl Balken gesteuert werden, siehe Serie 8)
plot(ecdf(x)) # Empirische kumulative Verteilungsfunktion
boxplot(x) # Boxplot
z <- rnorm(n = 100, mean = 2, sd = 1)
qqnorm(z) # QQ-Plot, welcher mit den theoretischen Quantilen der N(0,1)-Verteilung vergleicht.
\end{lstlisting}
\subsection{Stetige Verteilungen}
\subsubsection{Uniformverteilung}
\begin{lstlisting}
dunif(x = 2.5, min = 1, max = 3) # Wert der Dichte f(x) von X ~ Uniform([1,3]) an der Stelle x=2.5
punif(q = 2.5, min = 1, max = 3) # Wert der kum. Verteilungsfkt. F(x) von X ~ Uniform([1,3]) an der Stelle x=2.5
qunif(p = 0.2, min = 1, max = 3) # 20%-Quantil von X ~ Uniform([1,3])
runif(n = 100, min = 1, max = 3) # Zieht zufaellig 100 Realisierungen von X ~ Uniform([1,3])
\end{lstlisting}
\subsubsection{Exponentialverteilung}
\begin{lstlisting}
dexp(x = 2, rate = 1) # Wert der Dichte f(x) von X ~ Exp(1) an der Stelle x = 2
pexp(q = 2, rate = 1) # Wert der kum. Verteilungsfunktion F(x) von X ~ Exp(1) an der Stelle x = 2
qexp(p = 0.2, rate = 1) # 20%-Quantil von X ~ Exp(1)
rexp(n = 100, rate = 1) # Zieht zufaellig 100 Realisierungen von X ~ Exp(1)
\end{lstlisting}
\subsubsection{Normalverteilung}
\begin{lstlisting}
dnorm(x = 3, mean = 1, sd = sqrt(2)) # Wert der Dichte f(x) von X ~ N(1,2) an der Stelle x = 3
pnorm(q = 3, mean = 1, sd = sqrt(2)) # Wert der kum. VF F(x) von X ~ N(1,2) an der Stelle x = 3
qnorm(p = 0.2, mean = 1, sd = sqrt(2)) # 20%-Quantil von X ~ N(1,2)
rnorm(n = 100, mean = 1, sd = sqrt(2)) # Zieht zufaellig 100 Realisierungen von X ~ N(1,2)
\end{lstlisting}
\subsubsection{Standardnormalverteilung}
\begin{lstlisting}
dnorm(x = 3) # Wenn man meam = ..., sd = ... nicht angibt, wird eine N(0,1)-Verteilung angenommen.
pnorm(q = 3)
qnorm(p = 0.2) # entspricht Phi^{-1}(0.2)
rnorm(n = 100)
\end{lstlisting}
\subsection{Ein-Stichproben t-Test (gepaart)}
\begin{lstlisting}
## Der Ein-Stichproben t-Test kann in R mit dem Befehl t.test(...) durchgefuehrt werden.
## Die benoetigten Argumente der Funktion sind:
## - x: Der Vektor mit den beobachteten Werten
## - mu: Der Wert mu_0 der Nullhypothese
## - alternative:
## Die Wahl der Alternativhypothese. Moegliche Optionen sind:
## - "less" fuer H_A: mu < mu_0
## - "greater" fuer H_A: mu > mu_0
## - "two.sided" fuer H_A: mu ungleich mu_0
## - conf.level:
## Das Konfidenzniveau fuer das Vertrauensintervall. Entspricht (1 - Signifikanzniveau).
t.test(x = x, y = y, alternative = "greater", mu = 0, paired = TRUE, conf.level = 0.95)
\end{lstlisting}
\subsection{Zwei-Stichproben t-Test (ungepaart)}
\begin{lstlisting}
## Um in R einen ungepaarten Zwei-Stichproben t-Test durchzufuehren, verwenden
## Sie ebenfalls die Funktion t.test(...) mit den Argumenten
## - x: Der Vektor mit den beobachteten Werten der ersten Stichprobe
## - y: Der Vektor mit den beobachteten Werten der zweiten Stichprobe
## - mu: Der Wert mu_0 der Nullhypothese (typischerweise = 0, da Nullhypothese: "Es gibt keinen Unterschied")
## - alternative:
## Die Wahl der Alternativhypothese. Moegliche Optionen sind:
## - "less" fuer H_A: mu_X - mu_Y < mu_0
## - "greater" fuer H_A: mu_X - mu_Y > mu_0
## - "two.sided" fuer H_A: mu_X - mu_Y ungleich mu_0
## - paired = FALSE (ungepaarter Test)
## - var.equal = TRUE (standardmaessig ist var.equal = FALSE, dann wird ein Welch-Test durchgefuehrt)
## - conf.level:
## Das Konfidenzniveau fuer das Vertrauensintervall. Entspricht (1 - Signifikanzniveau).
t.test(x = x, y = y, alternative = "two.sided", mu = 80.00, paired = FALSE, conf.level = 0.95)
\end{lstlisting}
\newpage
2020-01-03 15:21:09 +01:00
\subsection{Wilcoxon-Test}
\label{sec:wilcoxon}
\begin{lstlisting}
2020-01-06 11:24:33 +01:00
## Ein- und Zwei-Stichproben Wilcoxon Tests stehen in R unter dem Befehl wilcox.test(...) zur Verfuegung.
## Die Argumente der Funktion sind analog zu denjenigen der t-Tests.
2020-01-03 15:21:09 +01:00
wilcox.test(x = x, alternative = "greater", mu = 80)
\end{lstlisting}
2020-01-06 11:24:33 +01:00
\subsection{Verteilungen}
\lstinline{pt} für kumulative Verteilungsfunktion \\
\lstinline{qt} für Quantile
\subsection{Regression}
\label{sec:rreg}
\subsubsection{Einfache Lineare Regression}
\begin{lstlisting}
## Um in R ein einfaches lineares Regressionsmodell anzupassen, verwendet man den R-Befehl lm(...).
## Wir betrachten das Beispiel mit Buchpreis und Seitenzahl aus dem Vorlesungsskript.
x <- c(50, 100, 150, 200, 250, 300, 350, 400, 450, 500) ## Seitenzahl, erklaerende Variable.
y <- c(9.9, 10.7, 13.3, 15.2, 16.4, 23.6, 23.5, 21.1, 28.9, 29.1) ## Buchpreis, Zielvariable.
\end{lstlisting}
Eigentliche Regression:
2020-01-03 15:21:09 +01:00
\begin{lstlisting}
2020-01-06 11:24:33 +01:00
## Um das lineare Regressionsmodell Y_i = beta_0 + beta_1 x_i + E_i zu fitten, benutzt man
fit <- lm(y ~ x) #("y gegen x")
2020-01-06 11:24:33 +01:00
## Man kann Achsenabschnitt und Steigung sehen, wenn man sich das Objekt 'fit' anschaut:
fit
\end{lstlisting}
oder
\begin{lstlisting}
fit <- lm(y ~ x)
summary(fit)
2020-01-03 15:21:09 +01:00
\end{lstlisting}
2020-01-06 11:24:33 +01:00
liefert den Output
\begin{lstlisting}
Residuals:
Min 1Q Median 3Q Max
-3.6958 -0.5944 -0.2203 0.9300 3.3048
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 6.793333 1.391060 4.884 0.00122 **
x 0.045006 0.004484 10.037 8.25e-06 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 2.036 on 8 degrees of freedom
Multiple R-squared: 0.9264, Adjusted R-squared: 0.9172
F-statistic: 100.8 on 1 and 8 DF, p-value: 8.254e-06
\end{lstlisting}
somit $Y_i = 6.793333 + 0.045006x_i$
2020-01-03 15:21:09 +01:00
2020-01-06 11:24:33 +01:00
\textbf{Weitere Plots}
\begin{lstlisting}
## Residuenplots erhaelt man einfach mittels
plot(fit) # man muss in der "Console" mehrmals die Eingabetaste dr¸cken, um die Plots zu sehen.
2020-01-03 15:21:09 +01:00
2020-01-06 11:24:33 +01:00
## oder:
plot(fit$fitted, fit$resid) ## Tukey-Anscombe plot
qqnorm(fit$residuals) ## qq-Plot der Residuen
2020-01-03 15:21:09 +01:00
2020-01-06 11:24:33 +01:00
## 95%-Vertrauensintervalle f¸r Koeffizienten (siehe VL 14, Slide 8)
confint(fit)
2020-01-03 15:21:09 +01:00
2020-01-06 11:24:33 +01:00
## 95%-Vertrauens-/Vorhersageintervalle (siehe VL 14, Slides 9 und 10)
nd <- data.frame(x=1, y=NA)
predict(fit, newdata = nd, interval = "confidence") ## Vertrauensintervall
predict(fit, newdata = nd, interval = "prediction") ## Vorhersageintervall
2020-01-03 15:21:09 +01:00
2020-01-06 11:24:33 +01:00
## Nehmen wir an, die Daten befinden sich in einem data.frame (anstelle von zwei Vektoren).
Daten_Buch <- data.frame(Seitenzahl = x, Buchpreis = y)
Daten_Buch
## Dieselbe Regression wie oben kann man nun berechnen, indem man entweder schreibt:
fit2 <- lm(Daten_Buch$Buchpreis ~ Daten_Buch$Seitenzahl)
summary(fit2)
## oder alternativ:
fit3 <- lm(Buchpreis ~ Seitenzahl, data = Daten_Buch)
summary(fit3)
## Alle 3 Varianten (fit, fit2, fit3) liefern exakt dasselbe Resultat.
\end{lstlisting}
\subsubsection{Multiple lineare Regression}
\begin{lstlisting}
## Um in R ein multiples lineares Regressionsmodell anzupassen, verwendet man ebenfalls den R-Befehl lm(...).
## Wir betrachten das Beispiel mit Buchpreis und Seitenzahl aus dem Vorlesungsskript, moechten nun jedoch
## als zweite erklaerende Variable noch das Erscheinungsjahr des Buches ins Modell aufnehmen.
x1 <- c(50, 100, 150, 200, 250, 300, 350, 400, 450, 500) ## Seitenzahl, erklaerende Variable 1.
x2 <- c(2017, 1999, 2013, 2004, 2001, 1979, 2018, 2008, 2015, 2002) ## Erscheinungsjahr, erklaerende Variable 2.
y <- c(9.9, 10.7, 13.3, 15.2, 16.4, 23.6, 23.5, 21.1, 28.9, 29.1) ## Buchpreis, Zielvariable.
## Das multiple lineare Regressionsmodell Y_i = beta_0 + beta_1 x_1 + beta_2 x_2 + E_i berechnet man
## mit dem Befehl:
fit <- lm(y ~ x1 + x2)
## Die restlichen Befehle sind analog zur einfachen linearen Regression.
\end{lstlisting}
\section{Anhang}
2020-01-03 15:21:09 +01:00
\label{sec:anhang}
\section*{Referenzen}
\begin{enumerate}
2020-01-06 11:24:33 +01:00
\item Skript "Vorlesungsskript Mathematik IV für Agrarwissenschaften, Erdwissenschaften, Lebensmittelwissenschaften und Umweltnaturwissenschaften", Dr. Jan Ernest, HS19 \\
2020-01-03 15:21:09 +01:00
\item Statistik\_MatheIV.pdf, scmelina, HS18
2020-01-06 11:24:33 +01:00
\item ZF\_Statistik\_ClemenceBoutry.pdf ,clboutry, FS16
2020-01-03 15:21:09 +01:00
\end{enumerate}
2020-01-06 11:24:33 +01:00
\section*{Bildquellen}
\begin{itemize}
\item Abb. \ref{fig:poisson-approx}: Skbkekas, \url{https://upload.wikimedia.org/wikipedia/commons/1/16/Poisson_pmf.svg}
\item Abb. \ref{fig:histogram}: DanielPenfield, \url{https://upload.wikimedia.org/wikipedia/commons/c/c3/Histogram_of_arrivals_per_minute.svg}
\item Abb. \ref{fig:boxplot}: towardsdatascience.com, \url{https://towardsdatascience.com/understanding-boxplots-5e2df7bcbd5}
\item Abb. \ref{fig:scatter}: DanielPenfield, \url{https://upload.wikimedia.org/wikipedia/commons/a/af/Scatter_diagram_for_quality_characteristic_XXX.svg}
\item Abb. \ref{fig:kumulative}: Skript
\item Abb. \ref{fig:sreg}: Skript
\end{itemize}
\doclicenseImage \\
Dieses Dokument ist unter (CC BY-SA 4.0) freigegeben \\
2020-01-06 11:24:33 +01:00
\faGlobe \kern 1em \url{https://n.ethz.ch/~jannisp} \\
\faGit \kern 0.88em \url{https://git.thisfro.ch/thisfro/statistik-zf} \\
Jannis Portmann, HS19
2020-01-03 15:21:09 +01:00
\end{multicols*}
\end{document}