$$
\newcommand{\bx}{\boldsymbol{x}}
\newcommand{\bt}{\boldsymbol{\theta}}
\newcommand{\bmu}{\boldsymbol{\mu}}
\newcommand{\dkl}{\mathrm{d}_{\mathrm{KL}}}
\newcommand{\dtv}{\mathrm{d}_{\mathrm{TV}}}
\newcommand{\emv}{\hat{\theta}_{\mathrm{emv}}}
\newcommand{\ent}{\mathrm{Ent}}
\newcommand{\tr}{\mathrm{tr}}
$$
Questions
- Pour n’importe quel nombre réel \(x\), trouver des lois à densité dont l’entropie est égale à \(x\).
- Calculer la divergence de KL entre deux lois d’un même modèle exponentiel.
- Montrer que la divergence de KL n’est pas une distance, mais que \(d_\mathrm{KL}(P,Q) = 0\) si et seulement si \(P = Q\).