Statistique & Probabilités

Cheatsheet Content

Estimations Ponctuelles Estimateur non biaisé Un estimateur $\hat{\theta}$ est non biaisé pour $\theta$ si $E[\hat{\theta}] = \theta$. Estimateur efficace Un estimateur est efficace s'il a la plus petite variance parmi tous les estimateurs non biaisés. Estimateur du Maximum de Vraisemblance (MV) Trouve le paramètre $\theta$ qui maximise la fonction de vraisemblance $L(\theta | x_1, ..., x_n) = \prod_{i=1}^n f(x_i | \theta)$. Estimateur des Moindres Carrés Ordinaires (MCO) Minimise la somme des carrés des résidus: $\min \sum_{i=1}^n (y_i - \hat{y}_i)^2$. Intervalle de Confiance (IC) IC pour la moyenne $\mu$ (variance $\sigma^2$ connue) $IC = \bar{X} \pm Z_{\alpha/2} \frac{\sigma}{\sqrt{n}}$ IC pour la moyenne $\mu$ (variance $\sigma^2$ inconnue) $IC = \bar{X} \pm t_{n-1, \alpha/2} \frac{S}{\sqrt{n}}$ IC pour une proportion $p$ $IC = \hat{p} \pm Z_{\alpha/2} \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$ IC pour la variance $\sigma^2$ $IC = \left[ \frac{(n-1)S^2}{\chi^2_{\alpha/2, n-1}}, \frac{(n-1)S^2}{\chi^2_{1-\alpha/2, n-1}} \right]$ Tests d'Hypothèses Hypothèses nulles et alternatives $H_0$: Hypothèse nulle (pas d'effet, pas de différence) $H_1$: Hypothèse alternative (effet, différence) Erreurs de type I et II Type I ($\alpha$): Rejeter $H_0$ quand elle est vraie. Type II ($\beta$): Ne pas rejeter $H_0$ quand elle est fausse. Test Z pour la moyenne (variance connue) $Z = \frac{\bar{X} - \mu_0}{\sigma/\sqrt{n}}$ Test t pour la moyenne (variance inconnue) $t = \frac{\bar{X} - \mu_0}{S/\sqrt{n}}$ Test Z pour une proportion $Z = \frac{\hat{p} - p_0}{\sqrt{p_0(1-p_0)/n}}$ Test du $\chi^2$ d'indépendance $\chi^2 = \sum \frac{(O_{ij} - E_{ij})^2}{E_{ij}}$ avec $E_{ij} = \frac{(\text{total ligne } i) \times (\text{total colonne } j)}{\text{grand total}}$. Régression Linéaire Simple Modèle $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ Estimateurs des MCO $\hat{\beta}_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} = \frac{Cov(x,y)}{Var(x)}$ $\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$ Coefficient de détermination $R^2$ $R^2 = 1 - \frac{SSE}{SST} = \frac{SSR}{SST}$ $SSE = \sum (y_i - \hat{y}_i)^2$ (Somme des Carrés des Erreurs) $SST = \sum (y_i - \bar{y})^2$ (Somme Totale des Carrés) $SSR = \sum (\hat{y}_i - \bar{y})^2$ (Somme des Carrés de la Régression) Théorèmes Fondamentaux Loi des Grands Nombres (LLN) Si $X_1, ..., X_n$ sont i.i.d. avec $E[X_i] = \mu$, alors $\bar{X}_n \xrightarrow{p} \mu$ (convergence en probabilité). Théorème Central Limite (TCL) Si $X_1, ..., X_n$ sont i.i.d. avec $E[X_i] = \mu$ et $Var(X_i) = \sigma^2$, alors $\sqrt{n}(\bar{X}_n - \mu) \xrightarrow{d} N(0, \sigma^2)$ (convergence en distribution). Inégalité de Bienaymé-Tchebychev $P(|X - E[X]| \ge k) \le \frac{Var(X)}{k^2}$ Utile pour borner la probabilité qu'une variable aléatoire s'éloigne de sa moyenne, sans connaître sa distribution exacte. Distributions de Probabilité Distribution Normale $N(\mu, \sigma^2)$ Densité: $f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}$ Standardisation: $Z = \frac{X - \mu}{\sigma} \sim N(0,1)$ Distribution Binomiale $B(n, p)$ $P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}$ $E[X] = np$, $Var(X) = np(1-p)$ Distribution de Poisson $P(\lambda)$ $P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}$ $E[X] = \lambda$, $Var(X) = \lambda$ Distribution Uniforme $U(a, b)$ Densité: $f(x) = \frac{1}{b-a}$ pour $a \le x \le b$ $E[X] = \frac{a+b}{2}$, $Var(X) = \frac{(b-a)^2}{12}$ Distribution Exponentielle $Exp(\lambda)$ Densité: $f(x) = \lambda e^{-\lambda x}$ pour $x \ge 0$ $E[X] = \frac{1}{\lambda}$, $Var(X) = \frac{1}{\lambda^2}$ Statistiques Descriptives Moyenne $\bar{x} = \frac{1}{n} \sum_{i=1}^n x_i$ Médiane Valeur centrale après tri des données. Mode Valeur la plus fréquente. Variance $s^2 = \frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2$ (échantillon) $\sigma^2 = \frac{1}{N} \sum_{i=1}^N (x_i - \mu)^2$ (population) Écart-type $s = \sqrt{s^2}$ Coefficient de Corrélation de Pearson $r = \frac{Cov(X,Y)}{s_X s_Y} = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2 \sum (y_i - \bar{y})^2}}$