$$ \newcommand{\bx}{\boldsymbol{x}} \newcommand{\bt}{\boldsymbol{\theta}} \newcommand{\bmu}{\boldsymbol{\mu}} \newcommand{\dkl}{\mathrm{d}_{\mathrm{KL}}} \newcommand{\dtv}{\mathrm{d}_{\mathrm{TV}}} \newcommand{\emv}{\hat{\theta}_{\mathrm{emv}}} \newcommand{\ent}{\mathrm{Ent}} \newcommand{\tr}{\mathrm{tr}} $$

Références

Livres et manuels

• Méthodes statistiques de Philippe Tassi est un bon livre général.
• All of statistics de Larry Wasserman est un ouvrage de référence.
• Le cours de Stéphane Mallat au Collège de France qui est plus général, mais qui reprend tous les concepts.
• Computer age statistical inference de Bradley Efron et Trevor Hastie n’est pas un livre de mathématiques, mais c’est le meilleur livre qui présente les idées et les algorithmes des statistiques avec un point de vue moderne.
• Elements of information theory, une référence sur la théorie de l’information
• Machine Learning: A Probabilistic Perspective de Murphy est la référence sur tous les modèles de statistiques et de machine learning modernes, avec un point de vue probabiliste, mais très peu de mathématiques. C’est une bonne référence pour ceux qui veulent préparer des entretiens d’embauche.
• Le cours de statistiques bayésiennes d’Arnaud Guyader et Anna Ben-Hamou contient des exercices corrigés et une bonne présentation mathématique du domaine.
• Statistiques mathématiques en action, pour ceux qui vont passer l’agrégation.
• Introduction à l’économétrie de Brigitte Dormont est un excellent livre, écrit en français, sur les modèles linéaires.
• En anglais, la référence sur les modèles linéaires est Econometric analysis de Greene.

Articles et blogs

• Statistics done Wrong
• The earth is round (p<.05)
• The Epic Story of Maximum Likelihood
• Why isn’t everyone a Bayesian?
• L’article original de Ronald Fisher de 1922 (et pas 1935 comme j’ai dit en cours), qui pose toutes les bases de la statistique moderne.
• Le blog d’Andrew Gelman, une sommité en statistiques, contient souvent des posts intéressants.
• Ce bon vieux Nassim Nicholas Taleb est assez présent sur les réseaux ; qu’on apprécie sa personnalité ou pas, on apprend toujours des choses en le lisant.