Information mutuelle et divergence : estimation, codage et classification

Bernard Colin, Marylène Troupé et Jean Vaillant

Résumé

Utilisant les notions de divergence entre mesures de probabilité et d’information mutuelle entre variables aléatoires, on considère, essentiellement dans le cas continu, un critère de minimisation de perte d’information afin de résoudre de façon optimale, le problème de la réduction des données sous forme de classes. On considère également, suivant ce même principe, le problème de l’agrégation des observations et de la classification.

Mots-clés : Divergence, information mutuelle, fonctionnelle statistique, codage optimal, classification.

Abstract

Using divergence and mutual information concepts, one consider, in the continuous case, a criterion based on the minimization of information loss in order to solve the problem of data reduction by making classes. With this same principle in mind, one consider also some others classification methods.

Keywords : Divergence, mutual information, statistical functionnals, optimal coding, classification.

Table des matières

1 Introduction 5

2 Résultats généraux 5 2.1 Divergence généralisée . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Information mutuelle . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3 Fonctionnelle d’information mutuelle . . . . . . . . . . . . . . . . 9

3 Reconstitution de l’information mutuelle 11 3.1 Cadre général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2 Existence d’une partition optimale . . . . . . . . . . . . . . . . . 14

4 Estimation 15 4.1 Estimateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 4.2 Propriétés des estimateurs dans le cas de données classées …. 17

4.2.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4.2.2 Espérance . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.2.3 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.2.4 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

4.3 Propriétés des estimateurs dans le cas paramétrique . . . . . . . 25 4.3.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . 25 4.3.2 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

4.4 Propriétés des estimateurs dans le cas des données brutes …. 28

5 Codage optimal 30 5.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 5.2 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

6 Classification 32 6.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 6.2 Position du problème . . . . . . . . . . . . . . . . . . . . . . . . . 34

6.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 34 6.2.2 Divergence généralisée . . . . . . . . . . . . . . . . . . . . 35 6.2.3 Construction d’un indice de dissimilarité . . . . . . . . . . 35

6.3 Classification hiérarchique . . . . . . . . . . . . . . . . . . . . . . 38

7 Analyse de l’information mutuelle 41 7.1 Cadre général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 7.2 Equations de décomposition de l’information mutuelle . . . . . . 43

7.2.1 Décomposition de l’information mutuelle totale sous la

forme d’une somme d’entropies . . . . . . . . . . . . . . . 44 7.2.2 Décomposition de l’information mutuelle totale sous la

forme d’une somme d’informations mutuelles . . . . . . . 45

7.3 Analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

8 Notion de composantes essentielles d’un vecteur aléatoire 49 9 Conclusion 53

3

Remerciements

Le présent rapport est le résultat de recherches entreprises au Département de Mathématiques et d’Informatique de l’Université des Antilles-Guyane de Pointe-à-Pitre, dans le cadre d’un congé sabbatique de septembre à décembre 2003.

Qu’il me soit permis ici de remercier, très sincèrement, tous les membres du Département, tant les professeurs que le personnel administratif, qui m’ont réservé un accueil des plus chaleureux et sans l’aide de qui ce travail n’aurait pu être mené à bien.

Mes remerciements s’addressent plus particulierement à Marylène Troupé et à Jean Vaillant qui ont bien voulu m’inviter dans leur laboratoire dans le cadre de ce congé sabbatique et qui ont mis à ma disposition toutes les ressources nécessaires, afin que ce projet de recherche puisse s’effectuer dans les meilleures conditions possibles.

Qu’il me soit permis également d’exprimer ici, mes très vifs remerciements et ma sincère gratitude à l’endroit de mes collègues de bureau, qui m’ont fait l’honneur de bien vouloir m’accueillir parmi eux. Ce fut pour moi un grand privilège de partager avec ces derniers et ce tout au long de mon séjour, des moments des plus enrichissants, tant sur le plan professionnel, que sur le plan humain. Que Messieurs J.C. Mado, P. Poullet, P. Nuiro et J. Vaillant veuillent bien trouver ici l’expression de ma très sincère amitié et de ma profonde reconnaissance.

Bernard Colin

Sherbrooke Octobre 2004

1 Introduction

Depuis quelques années déjà, on dispose dans de nombreux domaines de vastes ensembles de données (par exemple les entrepôts de données que l’on exploite dans le but d’en extraire des connaissances), contenant une information de masse considérable et dont le traitement constitue, à l’heure actuelle, une importante branche des statistiques. Si, traditionnellement, les modèles utilisés permettent par le biais d’une approche géométrique de bien appréhender la réalité multidimensionnelle des données, peu d’entre eux exploitent à l’aide d’outils tels que l’entropie, la divergence, la divergence généralisée et l’information mutuelle, l’information empirique portant sur les dépendances stochastiques entre les variables.

Ainsi les modèles de classification, par exemple, mettent l’accent principalement sur des critères de natures métriques et ne recourent que peu, ou pas, à des critères utilisant la notion d’information mutuelle. Il en va de même pour les modèles d’analyse discriminante et pour le codage de variables aléatoires, technique utilisée, par exemple, dans les cas où l’on doit prendre simultanément en compte un ensemble de variables aléatoires tant qualitatives que quantitatives. Plus précisement, dans le but de rendre homogène l’ensemble des variables considérées, le codage consiste habituellement à associer à chaque variable quantitative, et ce indépendamment les unes des autres, un ensemble d’éléments, ou modalités, formé de classes disjointes de valeurs.

On peut alors se demander si une telle opération, une fois effectuée, traite l’information disponible, de manière optimale. En particulier, le fait que les variables ne soient pas, dans la très grande majorité des cas, indépendantes, constitue une information qui pourrait conduire, entre autres, à la création, non pas de classes pour chacune des variables prises individuellement, mais de classes sur l’ensemble des variables prises simultanément.

Dans le cadre de ce rapport de recherche, nous nous proposons, après avoir introduit la notion d’information mutuelle entre variables aléatoires et en avoir donné les principales propriétés, d’aborder les thèmes suivants :

– Estimation de l’information mutuelle.

– Codage optimal de variables aléatoires.

– Classification.

– Décomposition de l’information mutuelle.

2 Résultats généraux

2.1 Divergence généralisée

Les résultats qui apparaissent dans ce paragraphe sont exposés en détail dans, entre autres, Csiszár [12], [13] et [14], Ali et Silvey [4] ainsi que dans Zakai et Ziv [46] et ne sont présentés uniquement ici qu’à titre de rappel.

Soit φ(t) une fonction convexe quelconque de ℝ^{+}\ {0} dans ℝ. Afin de résoudre certaines formes indéterminées, on adopte habituellement les conventions d’usage suivantes :

φ(0) = lim_{t→0^{+}} φ(t)
0φ(\frac{0}{0}) = 0
0φ(\frac{a}{0}) = lim_{δ→0^{+}} δφ(\frac{a}{δ}) = a lim_{δ→0^{+}} δφ(\frac{1}{δ}) a > 0

Le lemme ci-dessous, dont nous ferons usage par la suite, est dû à Csiszár [12] :

Soit (X , F, μ) un espace mesuré quelconque (on supposera toutefois que les mesures sont finies ou σ-finies) et soient α et β deux fonctions mesurables non négatives définies sur (X , F, μ) alors :

∫ 𝕀_{A}βφ (\frac{α}{β}) dμ

est définie pour tous les éléments A ∈ X sur lesquels α et β sont intégrables.

De plus si pour un tel élément ∫ 𝕀_{A}βdμ est strictement positif et si φ(t) est strictement convexe en :

t_{0} = \frac{∫ 𝕀_{A}αdμ}{∫ 𝕀_{A}βdμ}

on a :

∫ 𝕀_{A}βφ (\frac{α}{β}) dμ ≥ (∫ 𝕀_{A}βdμ) φ (\frac{∫ 𝕀_{A}αdμ}{∫ 𝕀_{A}βdμ}) > −∞

l’égalité n’ayant par ailleurs lieu que si et seulement si α = t_{0}β μ − p.p sur A.

Afin d’alléger l’écriture, nous supposerons dans la suite que les égalités sont prises au sens de “presque-partout” sans que l’on ait besoin de le mentionner à nouveau.

Soient alors μ_{1}et μ_{2} deux mesures de probabilité définies sur (X ,F) et telles que μ_{i} ≪ μ pour i = 1,2. On appelle φ-divergence ou encore divergence généralisée entre μ_{1}et μ_{2} l’expression définie par :

I_{φ} (μ_{1},μ_{2}) = ∫ φ (\frac{dμ_{1}}{dμ_{2}} ) dμ_{2}
= ∫ φ (\frac{f_{1}}{f_{2}} ) f_{2}dμ où f_{i} = \frac{dμ_{i}}{dμ} pour i = 1,2

Le lemme précédent assure de l’existence de I_{φ} (μ_{1},μ_{2}) et montre que I_{φ} (μ_{1},μ_{2}) ≥ φ (1), l’égalité n’ayant lieu que si et seulement si μ_{1} = μ_{2} pour autant que φ soit strictement convexe en t_{0} = 1. Il est clair par ailleurs que I_{φ} (μ_{1},μ_{2}) ne dépend pas du choix de μ et que l’on peut également, dans le cas des modèles homogènes (ce qui est très fréquemment vérifié dans la pratique) écrire cette expression sous la forme :

I_{φ} (μ_{1},μ_{2}) = ∫ \frac{dμ_{2}}{dμ_{1}} φ (\frac{dμ_{1}}{dμ_{2}} ) dμ_{1}
= ∫ \frac{f_{2}}{f_{1}} φ (\frac{f_{1}}{f_{2}} ) f_{1}dμ

Le tableau suivant présente, suivant le choix de la fonction φ, les principales mesures de divergence ainsi que leur appellation :

φ(x)  Nom
\begin{matrix}xLogx \\ −Logx \\ (x − 1) Logx \end{matrix}  Kullback et Leibler
|x − 1|  Distance en variation
x^{α}sgn (α − 1) avec: 0 < α ≠ 1 Divergence d’ordre α au sens de Rényi
(\sqrt{x} − 1)^{2}  Hellinger
1 − x^{α} 0 < α < 1  Chernoff
(x − 1)^{2}  χ^{2}
|1 − x^{1/m}|^{m} m > 0  Jeffreys
1 − min(x,1)  Wald

(Pour plus de détails à ce sujet, on pourra consulter, entre autres, Goël [23], Adhikari et Joshi [3], Aczél et Daróczy [2], Rao [35] ainsi que Rényi [36]). Sauf pour la divergence d’ordre α, on note que φ(1) = 0.

2.2 Information mutuelle

Soit (Ω, F, ℙ) un espace probabilisé et soient X_{1}, X_{2},..., X_{k}, k variables aléatoires définies sur (Ω, F, ℙ) et à valeurs dans les espaces mesurés (X_{i}, F_{i}, λ_{i}) i = 1, 2,..., k. Désignons par μ_{X_{1},X_{2},...,X_{k}} et par ⊗_{i=1}^{i=k}μ_{X_{i}} les mesures de probabilité définies sur l’espace produit (×_{i=1}^{i=k}X_{i}, ⊗_{i=1}^{i=k} F_{i}, ⊗_{i=1}^{i=k} λ_{i}) et représentant respectivement les mesures de probabilité conjointe et produit des mesures de probabilité marginales, des variables X_{1},X_{2},...,X_{k} et que l’on supposera absolument continues par rapport à la mesure produit λ = ⊗_{i=1}^{i=k}λ_{i}.

On appelle alors φ-information mutuelle ou plus simplement information mutuelle entre les variables X_{1}, X_{2},..., X_{k}, la quantité définie par :

I_{φ} (X_{1},X_{2},...,X_{k}) = I_{φ} (μ_{X_{1},X_{2},...,X_{k}}, ⨂_{i=1}^{i=k} μ_{X_{i}})

= ∫ φ (\frac{dμ_{X_{1},X_{2},...,X_{k}}}{d (⨂_{i=1}^{i=k} μ_{X_{i}})}) d (⨂_{i=1}^{i=k} μ_{X_{i}})

= ∫ φ (\frac{f}{∏_{i=1}^{i=k} f_{i}} ) (∏_{i=1}^{i=k} f_{i}) dλ

où, avec les notations habituelles, f et ∏_{i=1}^{i=k} f_{i} désignent respectivement les densités des mesures de probabilité μ_{X_{1},X_{2},...,X_{k}} et ⊗_{i=1}^{i=k}μ_{X_{i}} par rapport à la mesure produit λ = ⊗_{i=1}^{i=k}λ_{i}. Dans la pratique, l’espace X_{i} est, pour tout i, soit la droite réelle ℝ munie de la mesure de Lebesgue, soit un espace discret muni de la mesure de comptage. Mentionnons quelques propriétés de l’information mutuelle dont on trouvera les démonstrations dans, par exemple, Pinsker [34], Mc Eliece [29], Csiszár [12], Gavurin [21] :

– Si φ(1) ≥ 0, alors I_{φ} (X_{1},X_{2},...,X_{k}) ≥ 0 l’égalité n’ayant lieu que si et seulement si les variables aléatoires X_{1}, X_{2},..., X_{k} sont indépendantes.

– I_{φ} (X_{1},X_{2},...,X_{k}) ≥ I_{φ} (X_{1},X_{2},...,X_{k−1}) l’égalité n’ayant lieu que si et seulement si la variable X_{k} est indépendante des variables X_{1}, X_{2},..., X_{k−1}.

– I_{φ} (X_{1},X_{2},...,X_{k}) est convexe par rapport à μ_{X_{1},X_{2},...,X_{k}}.

– Si pour tout j = 1, 2,..., k les fonctions g_{j} de (×_{i=1}^{i=k}X_{i}, ⊗_{i=1}^{i=k} F_{i}) dans (Y_{j},G_{j}) sont mesurables, on a alors, en posant Y_{j} = g_{j} (X_{1},X_{2},...,X_{k}) :

I_{φ} (Y_{1},Y_{2},...,Y_{k}) ≤ I_{φ} (X_{1},X_{2},...,X_{k})

Cette dernière propriété, plus connue sous le nom général de “data-processing theorem”, montre que toute transformation portant sur les variables initiales, entraîne, en général, une perte d’information.

– I_{φ} ((X_{1},X_{2},...,X_{k−1}) ,X_{k}) = 𝔼^{μ^{X_{k}}} (I_{φ} (μ_{X_{1},X_{2},...,X_{k−1}|X_{k}}, μ_{X_{1},X_{2},...,X_{k−1}})) où, avec les notations habituelles, μ_{X_{1},X_{2},...,X_{k−1}|X_{k}} désigne la mesure de probabilité correspondante à la loi conditionnelle de X_{1},X_{2},...,X_{k−1} étant donné X_{k} et où 𝔼^{μ^{X_{k}}} représente l’espérance par rapport à la mesure de probabilité μ_{X_{k}}.

– I_{φ} (X_{1},X_{2},...,X_{k−1},X_{k}) = 𝔼^{μ^{X_{k}}} (I_{φ} (μ_{X_{1},X_{2},...,X_{k−1}|X_{k}}, ⊗_{i=1}^{i=k−1} μ_{X_{i}})).

Mentionnons que l’on trouvera, dans le cas de l’information mutuelle au sens de Kullback-Leibler, de récentes applications en neurophysiologie et en ingéniérie des communications dans respectivement Gruner[24] et Abarbanel, Masuda, Rabinovich et Tumer[1].

2.3 Fonctionnelle d’information mutuelle

Les mesures marginales μ_{X_{1}}, μ_{X_{2}},..., μ_{X_{k}} étant déduites de la mesure conjointe μ_{X_{1},X_{2},...,X_{k}}, il s’ensuit que l’information mutuelle entre les variables X_{1}, X_{2},..., X_{k} est une fonctionnelle J(μ_{X_{1},X_{2},...,X_{k}}) de la mesure de probabilité μ_{X_{1},X_{2},...,X_{k}} que nous noterons désormais, pour des raisons de commodité d’écriture, par μ_{X} où X désigne le vecteur (X_{1},X_{2},...,X_{k}). On a alors :

J(μ_{X}) = ∫ ∏_{i=1}^{i=k} f_{i} (x_{i}) φ (\frac{f (x_{1},x_{2},...,x_{k})}{∏_{i=1}^{i=k} f_{i} (x_{i})}) dλ

avec

f_{i} (x_{i}) = ∫_{∏_{j≠i}X_{j}} f (x_{1},x_{2},...,x_{i},...x_{k}) d ( ⊗_{j≠i}λ_{j}) pour i = 1, 2,..., k

De cette considération découle le fait que l’information mutuelle peut se concevoir comme un paramètre Θ associé à la loi μ_{X} et dont on pourrait penser que l’estimateur “naturel” serait donné par :

θ̂ = J(μ_{X}^{n})

où μ_{X}^{n} désigne la mesure de probabilité empirique, associée à un échantillon X^{1}, X^{2},..., X^{n} de taille n issu de la loi μ_{X}, définie par :

μ_{X}^{n} = \frac{1}{n} ∑_{r=1}^{r=n} δ_{X^{r}}

et où δ_{X^{r}} représente la masse de Dirac en X^{r} = (X_{1}^{r},X_{2}^{r},...,X_{k}^{r}) pour r = 1, 2,..., n. Dans le cas de mesures de probabilité discrètes absolument continues par rapport à une mesure de comptage, on peut vérifier sans peine que l’information mutuelle I_{φ} (X_{1}, X_{2},..., X_{k}) est donnée, à l’aide de notations évidentes, par :

∑_{(j_{1},j_{2},...,j_{k})} (∏_{i=1}^{i=k} p (x_{ij_{i}}) φ (\frac{p (x_{1j_{1}},x_{2j_{2}},...,x_{kj_{k}})}{∏_{i=1}^{i=k} p (x_{ij_{i}})}))

ce qui, dans le cas de la loi μ_{X}^{n} conduit à :

\frac{1}{n^{k−1}} φ (n^{k−1})

Il est clair qu’une telle expression ne présente, dans le cas continu, aucun intérêt en raison du fait que toutes les lois marginales empiriques étant, presque sûrement, des lois uniformes, on ne mesure uniquement dans ce cas que la divergence entre les mesures de probabilité :

μ_{X}^{n} = \frac{1}{n} ∑_{r=1}^{r=n} δ_{X^{r}} et ⨂_{i=1}^{i=k} (\frac{1}{n} ∑_{r=1}^{r=n} δ_{X_{i}^{r}})

ce qui ne permet pas, bien entendu, d’obtenir une estimation satisfaisante du paramètre J(μ_{X}).

Toutefois, dans le cas discret, si la taille de l’échantillon est grande (ce qui est le cas en particulier des vastes banques de données) on peut obtenir des estimations des lois marginales à partir de tableaux de contingence croisant l’ensemble des variables et en déduire une estimation θ̂ de Θ = J(μ_{X}). Si la fonctionnelle J se “comporte bien” au voisinage de μ_{X} alors J(μ_{X}^{n}) sera un bon estimateur de J(μ_{X}) puisque l’on sait que μ_{X}^{n} converge vers μ_{X} lorsque n tend vers l’infini.

Plus précisément si, dans le cas général, P désigne un espace de mesures de probabilité définies sur un espace (Ω, F) donné et si J(·) désigne une fonctionnelle définie sur P, la dérivée de Gâteaux de J au point ℙ dans la direction ℚ est donnée par :

d_{1}J(ℙ,ℚ − ℙ) = lim_{t→0^{+}} \frac{J (ℙ + t (ℚ − ℙ)) − J(ℙ)}{t} où 0 ≤ t ≤ 1
= \frac{d}{dt}J(ℙ + t (ℚ − ℙ)) |_{t=0^{+}}

si bien entendu cette limite existe.

Plus généralement, la dérivée d’ordre l de Gâteaux, au point ℙ dans la direction ℚ, a pour expression :

d_{l}J(ℙ,ℚ − ℙ) = \frac{d^{l}}{dt^{l}} J(ℙ + t (ℚ − ℙ)) |_{t=0^{+}}

Si l’on suppose de plus que la fonction γ (t) = J (ℙ + t (ℚ − ℙ)) admet un développement en série de Taylor au voisinage de 0, il vient (voir Serfling [39]) :

J(ℚ) − J(ℙ) = ∑_{l=1}^{l=m} \frac{1}{l!}d_{l}J(ℙ,ℚ − ℙ) + \frac{1}{(m + 1)!} \frac{d^{m+1}}{dt^{m+1}} J(ℙ + t (ℚ − ℙ)) |_{t^{∗}}

où 0 ≤ t^{∗} ≤ 1. Dans le cas où la mesure de probabilité ℚ est la mesure empirique ℙ^{n} associée à un échantillon déduit de ℙ, l’expression ci-dessus permet de déduire le comportement asymptotique de J (ℙ^{n}) de l’étude de celui du reste R_{m,n} donné par :

R_{m,n} = J(ℙ^{n}) − J(ℙ) − ∑_{l=1}^{l=m} \frac{1}{l!}d_{l}J(ℙ,ℙ^{n} − ℙ)
= J(ℙ^{n}) − J(ℙ) − V_{m,n}

On montre alors que (voir par exemple von Mises [45], Serfling [39]) si le premier terme non nul du développement de Taylor de la fonctionnelle J est le terme linéaire (ce qui est vérifié dans notre cas), on a :

\sqrt{n} (J(ℙ^{n}) − J(ℙ)) →^{L} N (0,σ_{J,ℙ}^{2})

où σ_{J,ℙ}^{2} est une constante positive qui ne dépend que de J et de ℙ, ce qui entraîne que l’information mutuelle empirique J(ℙ^{n}) converge en probabilité vers l’information mutuelle J(ℙ). De plus on a :

\overline{lim_{n→∞}} \begin{matrix}\sqrt{n} & (J(ℙ^{n}) − J(ℙ)) \\ σ & J,ℙ & (2LogLogn) & 1/2 \end{matrix} = 1 presque sûrement

Dans le cas continu J(ℙ^{n}) ne conduira à une estimation de J(ℙ) que si l’on considère une partition de l’espace ×_{i=1}^{i=k}X_{i} afin que J(ℙ^{n}) puisse s’interpréter en termes d’information mutuelle empirique entre les variables X_{1},X_{2},...,X_{k}.

3 Reconstitution de l’information mutuelle

3.1 Cadre général

Les considérations qui suivent s’inspirent des résultats obtenus par Dobrushin[18] dans le cadre de la notion d’entropie (φ (t) = tLogt). Soit μ_{X} une mesure de probabilité définie sur (X , F) où X = ×_{i=1}^{i=k}X_{i} = ℝ^{k} (autrement dit X_{1} = X_{2} = ... = X_{k} = ℝ), absolument continue par rapport à la mesure de Lebesgue et dont on supposera, dans un premier temps, que le support S est de la forme :

S = ×_{i=1}^{i=k} [a_{i},b_{i}]

et soit pour tout i = 1, 2,..., k:

a_{i} = x_{i0} < x_{i1} < ... < x_{in_{i}} = b_{i}

une partition P_{i,n_{i}} = {γ_{ij_{i}} = [x_{ij_{i}−1},x_{ij_{i}}[ : j_{i} = 1,2,...,n_{i} − 1, γ_{in_{i}} = [x_{in_{i}−1},x_{in_{i}}]} de [a_{i},b_{i}], en n_{i} éléments.

Désignons alors par P, la partition du support de μ_{X} engendrée par la famille des produits de la forme : ×_{i=1}^{i=k}γ_{ij_{i}}. Autrement dit la partition P, désignée quelques fois par l’appellation de “partition produit”, est donnée par :

P := ×_{i=1}^{i=k}P_{i,n_{i}} = ⋃_{j_{1}=1}^{n_{1}} ⋃_{j_{2}=1}^{n_{2}} ... ⋃_{j_{k}=1}^{n_{k}} (×_{i=1}^{i=k}γ_{ij_{i}})

Considérons alors pour tout i = 1, 2,..., k la variable aléatoire étagée ξ_{i}^{P}, définie sur [a_{i},b_{i}], à valeurs dans 1, 2,..., n_{i} (indices des classes) et dont la mesure de probabilité μ_{ξ}P_{i} est donnée par :

μ_{ξ}P_{i} = {μ_{X} (γ_{ij_{i}} × (×_{r≠i=1}^{r=k} [a_{r},b_{r}])) : j_{i} = 1, 2,..., n_{i}}

On sait alors, en vertu du “data-processing theorem”, (voir également Colin [10], Tibeiro [42]), que l’on a :

I_{φ} (X_{1},X_{2},...,X_{k}) ≥ I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} )

pour toute partition P_{1,n_{1}},P_{2,n_{2}},...,P_{k,n_{k}} de [a_{1},b_{1}] , [a_{2},b_{2}] ,..., [a_{k},b_{k}] et où la mesure de probabilité conjointe μ_{ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P}} du vecteur aléatoire (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} ) est donnée par :

μ_{ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P}} = {μ_{X} (×_{i=1}^{i=k}γ_{ij_{i}}) pour tout j_{1},j_{2},...,j_{k}}

La perte absolue d’information mutuelle, due à la transformation considérée, est alors représentée par : I_{φ} (X_{1},X_{2},...,X_{k}) − I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} ) alors que la perte relative s’exprime sous la forme :

\frac{I_{φ} (X_{1},X_{2},...,X_{k}) − I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} )}{I_{φ} (X_{1},X_{2},...,X_{k})}

Supposons alors que l’on considère les entiers n_{1}, n_{2},..., n_{k} fixés, c’est-à-dire, supposons que l’on ait fait choix, pour chacune des variables, du nombre de classes permettant de les résumer. Pour tout i = 1, 2,..., k, désignons par P_{i}^{n_{i}} la famille des partitions de [a_{i},b_{i}] en n_{i} intervalles disjoints (γ_{ij_{i}}) pour tout j_{i} = 1, 2,..., n_{i} et notons par P la famille des partitions du support de μ_{X} donnée par :

P := ×_{i=1}^{i=k}P_{i}^{n_{i}} = {×_{i=1}^{i=k}P_{i,n_{i}} : P_{i,n_{i}} ∈ P_{i}^{n_{i}} ∀ i = 1,2,...,k}

Un élément P de P peut alors être identifié à un vecteur de ℝ^{Σ_{i=1}^{i=k}(n_{i}−1)} de composantes :

(x_{11},x_{12},...,x_{1n_{1}−1}, x_{21},x_{22},...x_{2n_{2}−1},..., x_{k1},x_{k2},...,x_{kn_{k}−1})

sous les contraintes :

a_{i} < x_{i1} < ... < x_{in_{i}−1} < b_{i} pour tout i = 1, 2,..., k

Il est clair par ailleurs que si l’on fusionne au moins deux classes contigües de l’une quelconque des variables (en posant par exemple pour un i quelconque x_{i,j_{i}} = x_{i,j_{i}+1}), nous arrivons, en suivant la même démarche que précédemment, à la même conclusion que ci-dessus, à savoir que le bilan de l’opération de fusion de classes se traduit par une perte de l’information mutuelle disponible avant fusion. Plus précisement, l’information mutuelle est une fonction croissante par rapport au filtre des partitions (finies où dénombrables) du support de μ_{X} (on pourra consulter à ce sujet Ghurye [22], Čencov [9]). Considérant comme mesure ℙ^{n} la mesure donnée par :

ℙ^{n} = {μ_{X} (×_{i=1}^{i=k}γ_{ij_{i}}) pour tout j_{1}, j_{2},..., j_{k}}

les résultats du paragraphe précédent permettent d’affirmer que, sous des conditions très générales, (voir également Serfling [39]) on a : I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} ) →^{p} I_{φ} (X_{1},X_{2},...,X_{k}) lorsque, pour tout i = 1, 2,..., k, n_{i} → ∞.

Cette méthode d’approximation de l’information mutuelle, fait appel à une partition du support de la mesure de probabilité μ_{X} engendrée par le produit de partitions des supports de chacune des variables. Mentionnons que l’on peut utiliser, à cette fin, d’autres partitions comme par exemple dans Darbellay [15] où l’algorithme utilisé conduit, à l’aide d’un critère d’indépendance locale, à une partition de ℝ^{k} sous forme de pavés.

Dans le cas où le support S de la mesure μ_{X} n’est pas borné, on peut faire appel à la représentation sous forme de copule de sa densité (voir par exemple à ce sujet Fréchet [20], Sklar [41]) afin de se ramener au cas précédent.

En effet, désignant par F_{i} la fonction de répartition de la variable aléatoire X_{i} pour i = 1, 2,..., k, la transformation définie par :

U_{i} = F_{i} (X_{i}) ∀ i = 1, 2,..., k

est, dans le présent cadre, une transformation bijective de S dans [0,1]^{k} qui préserve l’information mutuelle entre les variables X_{1}, X_{2},..., X_{k} et les variables U_{1}, U_{2},..., U_{k} comme on le vérifie aisément ci-dessous.

Supposons, sans perte de généralité, que S = ℝ^{k} et considérons le changement de variables :

u = g(x) = {g_{i} (x)}_{i=1,2,...,k}

de ℝ^{k} dans [0,1]^{k} donné par :

u_{i} = g_{i} (x_{1},x_{2},...,x_{k}) = F_{i} (x_{i})

Posant :

G = (γ_{i,j} = ∂u_{i}⧸∂x_{j}) = diag (f_{1}(x_{1}),f_{2}(x_{2}),...,f_{k}(x_{k}))

il vient :

det G = ∏_{i=1}^{i=k} f_{i} (x_{i})

On a alors :

I_{φ} (X_{1},X_{2},...,X_{k}) = ∫_{ℝ^{k}} φ (\frac{f (x_{1},x_{2},...,x_{k})}{∏_{i=1}^{i=k} f_{i} (x_{i})}) (∏_{i=1}^{i=k} f_{i} (x_{i})) dx_{1}dx_{2}...dx_{k}

= ∫_{[0,1]_{k}} φ (\frac{f (F_{1}^{−1} (u_{1}) ,F_{2}^{−1} (u_{2}) ,...,F_{k}^{−1} (u_{k}))}{∏_{i=1}^{i=k} f_{i} (F_{i}^{−1} (u_{i}))}) ×
(∏_{i=1}^{i=k} f_{i} (F_{i}^{−1} (u_{i}))) det G^{−1}|_{g^{−1}(u)} du_{1}du_{2}...du_{k}

et comme :

(∏_{i=1}^{i=k} f_{i} (F_{i}^{−1} (u_{i}))) det G^{−1}|_{g^{−1}(u)} = 1

on obtient :

I_{φ} (X_{1},X_{2},...,X_{k}) = ∫_{[0,1]_{k}} φ (c (u_{1},u_{2},...,u_{k})) du_{1}du_{2}...du_{k}

où c (u_{1},u_{2},...,u_{k}) n’est autre que la densité de probabilité de la copule associée à μ_{X} puisque l’on a :

c (u) = f (g^{−1} (u)) det G^{−1}|_{g^{−1}(u)}
= \frac{f (F_{1}^{−1} (u_{1}) ,F_{2}^{−1} (u_{2}) ,...,F_{k}^{−1} (u_{k}))}{∏_{i=1}^{i=k} f_{i} (F_{i}^{−1} (u_{i}))}

Comme par ailleurs U_{i} ∽ U_{[0,1]} pour tout i = 1, 2,..., k, alors la densité c_{i} (u_{i}) de U_{i} a pour expression :

c_{i} (u_{i}) = 𝕀_{[0,1]} (u_{i}) pour tout i = 1,2,...,k

et il s’ensuit que :

∫_{[0,1]_{k}} φ (c (u_{1},u_{2},...,u_{k})) du_{1}du_{2}...du_{k}

peut s’écrire sous la forme :

∫_{[0,1]_{k}} φ (\frac{c (u_{1},u_{2},...,u_{k})}{∏_{i=1}^{i=k} c_{i} (u_{i})}) (∏_{i=1}^{i=k} c_{i} (u_{i})) du_{1}du_{2}...du_{k}

qui n’est autre que l’information mutuelle I_{φ} (U_{1},U_{2},...,U_{k}) entre les variables aléatoires U_{1}, U_{2},..., U_{k}.

Cette invariance justifie, “a posteriori”, le fait que nous ayons considéré l’information mutuelle comme une fonctionnelle de la loi conjointe seulement.

3.2 Existence d’une partition optimale

Les nombres n_{1}, n_{2},..., n_{k} étant donnés et la famille P qui en découle étant précisée, le problème d’optimisation que l’on désire résoudre se présente sous la forme :

sup_{P ∈P}I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} )

On peut sans perte de généralité et en vertu de la remarque faite à la fin du paragraphe précédent, considérer que la fonction I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} ) des variables x_{ij_{i}} pour i = 1, 2,..., k et j_{i} = 1, 2,..., n_{i} −1 est définie sur un ensemble compact de ℝ^{Σ_{i=1}^{i=k}(n_{i}−1)} de la forme :

S = ×_{i=1}^{i=k}S_{i,n_{i}}

où S_{i,n_{i}} est, pour tout i = 1, 2,..., k, le sous-ensemble de ℝ^{n_{i}−1} défini par :

a_{i} = x_{i0} ≤ x_{i1} ≤ x_{i2} ≤ ... ≤ x_{in_{i}−1} ≤ x_{in_{i}} = b_{i}

Il s’ensuit donc que I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} ) étant une fonction continue par rapport aux variables x_{ij_{i}} (∀ i = 1, 2,..., k et ∀ j_{i} = 1, 2,..., n_{i} − 1), il existe au moins un élément P̃ de P tel que :

I_{φ} (ξP̃ ; 1,ξP̃ ; 2,...,ξP̃ ; k) = max_{P ∈P} I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} )

ce qui nous assure de l’existence, pour n_{1}, n_{2},..., n_{k} donnés, d’au moins une partition du support de μ_{X} conservant le maximum d’information mutuelle entre les variables X_{1}, X_{2},..., X_{k}. Par ailleurs, en vertu de la remarque concernant la fusion de classes contigües, il est clair que le point de S qui représente P̃

appartient à S^{∘}.

4 Estimation

4.1 Estimateurs

Dans la pratique, on ne dispose pas en général de la loi du vecteur aléatoire X, mais seulement d’un nombre n d’observations de ce dernier. Plusieurs cas peuvent alors se présenter :

1) Cas des données brutes. On ne connaît que la mesure empirique μ_{X}^{n} = \frac{1}{n} ∑_{r=1}^{r=n} δ (X^{r}) où X^{r} ∈ ℝ^{k} pour tout r = 1, 2,..., n (ou encore la fonction de répartition empirique F_{n} (x) = \frac{1}{n} ∑_{r=1}^{r=n} 𝕀_{]−∞,x]} (X^{r}) ∀x ∈ ℝ^{k}). Ce cas peut, en première approximation, se ramener après quelques transformations à l’un des deux cas suivants. Nous en donnerons un apercu à la fin du présent paragraphe.

2) Cas des données classées. On ne connaît que l’ensemble des classes {γ_{ij_{i}}} des variables aléatoires (X_{i}), pour i = 1, 2,..., k, ainsi que le nombre d’observations par “cellule”(une cellule étant, par définition, le produit cartésien de k classes et si n_{i} désigne le nombre de classes par variable pour i = 1, 2,..., k, alors il y a exactement ∏_{i=1}^{i=k} n_{i} cellules que nous noterons : ×_{i=1}^{i=k}γ_{ij_{i}} où pour tout i on a : j_{i} = 1, 2,..., n_{i}). C’est le cas, entre autres, des sondages, des enquêtes, des recensements où les classes sont prédéterminées et où les données brutes sont affectées simplement aux diverses classes.

3) Cas paramétrique. Outre la mesure empirique, on sait ou l’on formule l’hypothèse, dans un cadre paramétrique, que le vecteur aléatoire X suit une loi d’un type donné (par exemple une loi normale, une loi exponentielle, une loi de Pareto...) dont la densité f (x,θ) dépend d’un paramètre θ ∈ Θ ⊂ ℝ^{m} inconnu.

Le cas 2) conduit davantage, dans le cadre continu, à une approximation de l’information mutuelle qu’à une estimation proprement dite de celle-ci. De fait si les classes sont fixes, on dispose seulement d’une approximation “discrète” I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} ) de I_{φ} (X_{1},X_{2},...,X_{k}) à l’aide de la partition du support de μ_{X} engendrée par le produit des classes.

Cependant, si l’on se situe dans le cadre d’un vecteur aléatoire discret dont la loi, déduite de celle de X, est donnée par :

{μ_{X} (×_{i=1}^{i=k}γ_{ij_{i}}) = p (γ_{1j_{1}},γ_{2j_{2}},...,γ_{kj_{k}}) : j_{i} = 1, 2,..., n_{i}}

et dont les lois marginales ont pour expressions :

{ ∑_{{j_{r} : r≠i}} μ_{X} (×_{r=1}^{r=k}γ_{rj_{r}}) = p (γ_{ij_{i}})} : i = 1, 2,..., k et j_{i} = 1, 2,..., n_{i}

on peut proposer comme estimateur de :

I_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} ) = ∑_{(j_{1},j_{2},...,j_{k})} (∏_{i=1}^{i=k} p (γ_{ij_{i}}) φ (\frac{p (γ_{1j_{1}},γ_{2j_{2}},...,γ_{kj_{k}})}{∏_{i=1}^{i=k} p (γ_{ij_{i}})}))

l’expression définie par :

Î_{φ} (ξ_{1}^{P} ,ξ_{2}^{P} ,...,ξ_{k}^{P} ) = ∑_{(j_{1},j_{2},...,j_{k})} (∏_{i=1}^{i=k} p̂(γ_{ij_{i}}) φ (\begin{matrix}p̂ & (γ_{1j_{1}},γ_{2j_{2}},...,γ_{kj_{k}}) \\ ∏ & {i=k \atop i=1} & p̂ & (γ_{ij_{i}}) \end{matrix}))

où p̂(γ_{1j_{1}},γ_{2j_{2}},...,γ_{kj_{k}}) et p̂(γ_{ij_{i}}) désignent respectivement les fréquences relatives empiriques des cellules ×_{i=1}^{i=k}γ_{ij_{i}} et des classes γ_{ij_{i}} pour tout i = 1, 2,..., k et pour tout j_{i} = 1, 2,..., n_{i}.

Dans le cas 3), il semble naturel de choisir comme estimateur de l’information mutuelle, celle déduite de f (x,θ̂) où θ̂ est un estimateur de θ . Autrement dit on choisit comme estimateur de I_{φ} (X_{1},X_{2},...,X_{k}), la variable aléatoire définie par :

Î_{φ} (X_{1},X_{2},...,X_{k}) = ∫_{ℝ^{k}} φ (\frac{f (x_{1},x_{2},...,x_{k},θ̂)}{∏_{i=1}^{i=k} f_{i} (x_{i},θ̂)}) (∏_{i=1}^{i=k} f_{i} (x_{i},θ̂)) dx_{1}dx_{2}...dx_{k}

ou encore :

Î_{φ} (U_{1},U_{2},...,U_{k}) = ∫_{[0,1]_{k}} φ (c (u_{1},u_{2},...,u_{k},η̂)) du_{1}du_{2}...du_{k}

dans le cas où l’on choisit de représenter μ_{X} sous la forme d’une copule et où η̂ désigne le paramètre η \binom{}{θ} associé à la copule.

Enfin dans le cas 1) on peut, soit construire de manière itérative une “partition produit” ou un “pavage” (voir Darbellay[15]) du support de μ_{X}, soit, afin de se ramener au troisième cas, utiliser un estimateur de la densité obtenu à l’aide, par exemple, de la méthode des noyaux que l’on présente brièvement cidessous et dont on trouvera un exposé complet et détaillé dans Bosq et Lecoutre [8].

Un noyau positif K est une application de ℝ^{k} dans ℝ^{+}, bornée et d’intégrale 1 par rapport à la mesure de Lebesgue. On dira de plus qu’il est un noyau de P arzen − Rosenblatt si :

lim_{∥x∥→∞} ∥x∥^{k} K (x) = 0

L’estimateur f_{n} (x) de f (x) associé au noyau K est défini alors par :

f_{n} (x) = \frac{1}{nh_{n}^{k}} ∑_{r=1}^{r=n} K (\frac{x − X^{r}}{h_{n}} ) ∀ x ∈ ℝ^{k}

où h_{n} est un nombre réel positif dépendant de n (largeur de la fenêtre). Si l’on pose :

K_{h_{n}} (z) = \frac{1}{h_{n}^{k}} K (\frac{z}{h_{n}} ) z ∈ ℝ^{k}

alors f_{n} n’est autre que le résultat du produit de convolution entre μ_{X}^{n} et K_{h_{n}} (z) c’est-à-dire :

f_{n} (x) = (K_{h_{n}} ∗ μ_{X}^{n}) (x)

Mentionnons que l’on peut également, afin d’estimer la densité f (x), utiliser la méthode des plus proches voisins, ou celle de projection ou encore celle des ondelettes (voir à ce sujet Bosq et Lecoutre[8]ainsi que Devroye et Lugosi[16])

4.2 Propriétés des estimateurs dans le cas de données classées

4.2.1 Généralités

Le premier cas pouvant être traité en partie dans le cadre des deux suivants, considérons dans un premier temps l’estimateur proposé dans le cas 2) et désignons par X̃ le vecteur aléatoire discret dont la loi, déduite de celle de X, est donnée par : {μ_{X} (×_{i=1}^{i=k}γ_{ij_{i}})}. Posons alors par commodité d’écriture :

Î_{φ} \binom{}{X} = ∑_{(j_{1},j_{2},...,j_{k})} (∏_{i=1}^{i=k} p̂(γ_{ij_{i}}) φ (\begin{matrix}p̂ & (γ_{1j_{1}},γ_{2j_{2}},...,γ_{kj_{k}}) \\ ∏ & {i=k \atop i=1} & p̂ & (γ_{ij_{i}}) \end{matrix}))

= ∑_{(j_{1},j_{2},...,j_{k})} (∏_{i=1}^{i=k} p̂(γ_{ij_{i}}) φ (\begin{matrix}p̂ & (×_{i=1}^{i=k}γ_{ij_{i}}) \\ ∏ & {i=k \atop i=1} & p̂ & (γ_{ij_{i}}) \end{matrix}))

Or on sait que les estimateurs p̂(γ_{1j_{1}},γ_{2j_{2}},...,γ_{kj_{k}}) = p̂(×_{i=1}^{i=k}γ_{ij_{i}}) et p̂(γ_{ij_{i}}) sont des estimateurs sans biais et efficaces de p (γ_{1j_{1}},γ_{2j_{2}},...,γ_{kj_{k}}) = p (×_{i=1}^{i=k}γ_{ij_{i}}) et de p (γ_{ij_{i}}) pour tout j_{i} = 1, 2,..., n_{i} et pour tout i = 1, 2,..., k et que de plus ces derniers convergent en probabilité et en loi vers les valeurs théoriques correspondantes. Désignons par n (×_{i=1}^{i=k}γ_{ij_{i}}) le nombre d’observations appartenant à la cellule ×_{i=1}^{i=k}γ_{ij_{i}} et par n (γ_{ij_{i}}) le nombre d’observations appartenant à la classe γ_{ij_{i}}. Il vient :

p̂(×_{i=1}^{i=k}γ_{ij_{i}}) = n (×_{i=1}^{i=k}γ_{ij_{i}}) ⧸n et p̂(γ_{ij_{i}}) = (n (γ_{ij_{i}}) ⧸n)

avec :

n (γ_{ij_{i}}) = ∑_{{j_{r} : r≠i}} n (×_{r=1}^{r=k}γ_{rj_{r}})

D’où :

Î_{φ} \binom{}{X} = ∑_{(j_{1},j_{2},...,j_{k})} (∏_{i=1}^{i=k} (n (γ_{ij_{i}}) ⧸n) φ (\frac{n (×_{i=1}^{i=k}γ_{ij_{i}}) ⧸n}{∏_{i=1}^{i=k} (n (γ_{ij_{i}}) ⧸n)}))

Puisque :

\frac{n (×_{i=1}^{i=k}γ_{ij_{i}})}{n} →^{p} p (×_{i=1}^{i=k}γ_{ij_{i}}) et que : \frac{n (γ_{ij_{i}})}{n} →^{p} p (γ_{ij_{i}}) ∀ i, j_{i}

lorsque n → ∞, il s’ensuit, en vertu de la continuité de la fonction φ et du théorème de Slutsky que :

\frac{n (×_{i=1}^{i=k}γ_{ij_{i}}) ⧸n}{∏_{i=1}^{i=k} (n (γ_{ij_{i}}) ⧸n)} →^{p} \frac{p (×_{i=1}^{i=k}γ_{ij_{i}})}{∏_{i=1}^{i=k} p (γ_{ij_{i}})} ∀ i, j_{i}

(voir Serfling[39]), que :

φ (\frac{n (×_{i=1}^{i=k}γ_{i,j_{i}}) ⧸n}{∏_{i=1}^{i=k} (n (γ_{i,j_{i}}) ⧸n)}) →^{p} φ (\frac{p (×_{i=1}^{i=k}γ_{i,j_{i}})}{∏_{i=1}^{i=k} p (γ_{i,j_{i}})}) ∀ i, j_{i}

et qu’en conséquence on a :

Î_{φ} \binom{}{X} →^{p} I_{φ} \binom{}{X} .

Dans le cas particulier où la fonction φ est donnée par : φ (t) = tLogt, l’estimateur Î_{φ} \binom{}{X} s’exprime sous la forme :

Î_{φ} \binom{}{X} = ∑_{(j_{1},j_{2},...,j_{k})} ((n (×_{i=1}^{i=k}γ_{ij_{i}}) ⧸n) Log (\frac{n (×_{i=1}^{i=k}γ_{ij_{i}}) ⧸n}{∏_{i=1}^{i=k} (n (γ_{ij_{i}}) ⧸n)}))

ou encore :

Î_{φ} \binom{}{X} = \frac{1}{n} ∑_{(j_{1},j_{2},...,j_{k})} (n (×_{i=1}^{i=k}γ_{ij_{i}}) Log (\frac{n (×_{i=1}^{i=k}γ_{ij_{i}})}{∏_{i=1}^{i=k} n (γ_{ij_{i}})})) + (k − 1) Logn

qui n’est autre, dans le cas de deux variables, que l’estimateur proposé par Darbellay[15]. On notera également que si l’on prend φ (t) = (t − 1)^{2} on obtient :

Î_{φ} \binom{}{X} = ∑_{(j_{1},j_{2},...,j_{k})} \begin{matrix}(n (×_{i=1}^{i=k}γ_{ij_{i}}) ⧸n − ∏_{i=1}^{i=k} (n (γ_{ij_{i}}) ⧸n)) & 2 \\ ∏ & {i=k \atop i=1} & (n (γ_{ij_{i}}) ⧸n) \end{matrix}

qui correspond au “χ^{2} de contingence” dans le cas d’un tableau k−dimensionnel.

L’estimateur Î_{φ} \binom{}{X} ayant une forme relativement complexe, il n’est pas possible, en général, de déterminer de manière exacte son espérance et sa variance. Cependant en utilisant un développement limité de Î_{φ} \binom{}{X} au voisinage

des valeurs p (×_{i=1}^{i=k}γ_{ij_{i}}) on peut obtenir des approximations de 𝔼 (Î_{φ} \binom{}{X}) et

de V ar (Î_{φ} \binom{}{X}). L’expression :

Î_{φ} \binom{}{X} = ∑_{(j_{1},j_{2},...,j_{k})} (∏_{i=1}^{i=k} p̂(γ_{ij_{i}}) φ (\begin{matrix}p̂ & (×_{i=1}^{i=k}γ_{ij_{i}}) \\ ∏ & {i=k \atop i=1} & p̂ & (γ_{ij_{i}}) \end{matrix}))

étant une fonction continue des s = ∏_{i=1}^{i=k} n_{i} variables p̂(×_{i=1}^{i=k}γ_{ij_{i}}) telles que :

∑_{(j_{1},j_{2},...,j_{k})} p̂(×_{i=1}^{i=k}γ_{ij_{i}}) = 1 ,

notons respectivement par p et p̂ les vecteurs de ℝ^{s} définis par vec (p (×_{i=1}^{i=k}γ_{ij_{i}})) et par vec (p̂(×_{i=1}^{i=k}γ_{ij_{i}})). On a alors :

𝔼 \binom{}{p} = p

et :

𝔼 ((p̂− p) ^{t} (p̂− p)) = \frac{1}{n} (diag (p) − p^{t}p) = \frac{1}{n}Σ

où diag (p) désigne la matrice diagonale de format s × s et dont les éléments non nuls sont les composantes du vecteur p. De plus, en vertu de la version multidimensionnelle du théorème central limite, on a :

\sqrt{n} (p̂− p) →^{L} N (0,Σ))

ou encore :

p̂ ⇝ AN (p,\frac{1}{n}Σ)

où le symbole ⇝ AN désigne l’expression : asymptotiquement normal. Notant par g \binom{}{p} la fonction de ℝ^{s} dans ℝ donnée par :

g \binom{}{p} = ∑_{(j_{1},j_{2},...,j_{k})} (∏_{i=1}^{i=k} p̂(γ_{ij_{i}}) φ (\begin{matrix}p̂ & (×_{i=1}^{i=k}γ_{ij_{i}}) \\ ∏ & {i=k \atop i=1} & p̂ & (γ_{ij_{i}}) \end{matrix}))

on obtient, au voisinage de p, à l’aide de la version multidimensionnelle du théorème de Taylor et en supposant que les conditions de différentiabilité requises portant sur g soient remplies, le développement limité de g \binom{}{p}, jusqu’à l’ordre m − 1, suivant :

g \binom{}{p} − g (p) = ∑_{k=1}^{m−1} \frac{1}{k!} ∑_{r_{1}=1}^{s} ∑_{r_{2}=1}^{s} … ∑_{r_{k}=1}^{s} \frac{∂^{k}g (u_{1},u_{2},...,u_{s})}{∂u_{r_{1}}∂u_{r_{2}} … ∂u_{r_{k}}} |_{u=p} ∏_{j=1}^{k} (p̂_{r_{j}} − p_{r_{j}})

+\frac{1}{m!} ∑_{r_{1}=1}^{s} ∑_{r_{2}=1}^{s} … ∑_{r_{n}=1}^{s} \frac{∂^{n}g (u_{1},u_{2},...,u_{s})}{∂u_{r_{1}}∂u_{r_{2}} … ∂u_{r_{n}}} |_{u=z} ∏_{j=1}^{m} (p̂_{r_{j}} − p_{r_{j}})

où z est de la forme: z = p + t (p̂− p) t ∈ ]0,1[.

Le développement limité à l’ordre 2 s’exprime alors sous la forme :

g \binom{}{p} = g (p) + ^{t} Gradg|_{p} (p̂− p) + \frac{1}{2!} ^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p)

+\frac{1}{3!} ∑_{r_{1}=1}^{s} ∑_{r_{2}=1}^{s} ∑_{r_{3}=1}^{s} \frac{∂^{3}g (u_{1},u_{2},...,u_{s})}{∂u_{r_{1}}∂u_{r_{2}}∂u_{r_{3}}} |_{u=z} ∏_{j=1}^{3} (p̂_{r_{j}} − p_{r_{j}})

où Gradg|_{p} et D^{(2)}g|_{p} désignent respectivement le gradient et la matrice hessienne de la fonction g, évalués en u = p.

Notant que g (p) = I_{φ} \binom{}{X}, il découle de la convergence en loi de p̂ que (voir par exemple Serfling[39]) :

g \binom{}{p} ⇝ AN (g (p) ,\frac{1}{n} ^{t} Gradg|_{p} Σ Gradg|_{p})

c’est-à-dire :

\sqrt{n} (Î_{φ} \binom{}{X} − I_{φ} \binom{}{X}) →^{L} N (0,^{t} Gradg|_{p} Σ Gradg|_{p})

qui est une forme plus explicite du résultat général présenté en 2.3).

Enfin notons que si l’on effectue une partition des classes initiales, l’approximation de I_{φ} (X) à l’aide de Î_{φ} \binom{}{X} est plus précise. Cependant dans la pratique, il n’est pas toujours possible de procéder à cette opération de sorte que Î_{φ} \binom{}{X} demeure une approximation de I_{φ} (X) , mais constitue néanmoins un estimateur de l’information mutuelle pour la mesure de probabilité définie par :

{μ_{X} (×_{i=1}^{i=k}γ_{ij_{i}})}

4.2.2 Espérance

En prenant l’espérance des deux membres du développement limité à l’ordre 2 précédent, on a :

𝔼 (Î_{φ} \binom{}{X}) = I_{φ} \binom{}{X} + \frac{1}{2!}𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p))

+\frac{1}{3!} ∑_{r_{1}=1}^{s} ∑_{r_{2}=1}^{s} ∑_{r_{3}=1}^{s} \frac{∂^{3}g (u_{1},u_{2},...,u_{s})}{∂u_{r_{1}}∂u_{r_{2}}∂u_{r_{3}}} |_{u=z} 𝔼 (∏_{j=1}^{3} (p̂_{r_{j}} − p_{r_{j}}))

avec :

|𝔼 (Î_{φ} \binom{}{X}) − I_{φ} \binom{}{X} − \frac{1}{2!}𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p))| = o ∥p̂− p∥^{3}

Il s’ensuit que les approximations d’ordre 1 et 2 de 𝔼 (Î_{φ} \binom{}{X}) sont données respectivement par :

I_{φ} \binom{}{X}

et par :

I_{φ} \binom{}{X} + \frac{1}{2!}𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p))

où 𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p)) est donné par :

\frac{1}{n} ∑_{(i,j)} \frac{∂^{2}g}{∂p_{ij}^{2}} p_{ij} (1 − p_{ij}) − \frac{1}{n} ∑_{(i,j)} ∑_{(i′,j′≠i,j)} \frac{∂^{2}g}{∂p_{ij}∂p_{i′j′}} p_{ij}p_{i′j′}

4.2.3 Variance

Afin de trouver une approximation de la variance de g \binom{}{p} = Î_{φ} \binom{}{X}, considérons la quantité g \binom{}{p} − 𝔼 (g \binom{}{p}). Il vient :

g \binom{}{p} − 𝔼 (g \binom{}{p}) = ^{t} Gradg|_{p} (p̂− p) + \frac{1}{2!}^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p)

−\frac{1}{2!}𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p))

+\frac{1}{3!} ∑_{r_{1}=1}^{s} ∑_{r_{2}=1}^{s} ∑_{r_{3}=1}^{s} \frac{∂^{3}g (u_{1},u_{2},...,u_{s})}{∂u_{r_{1}}∂u_{r_{2}}∂u_{r_{3}}} |_{u=z} ∏_{j=1}^{3} (p̂_{r_{j}} − p_{r_{j}})

−\frac{1}{3!} ∑_{r_{1}=1}^{s} ∑_{r_{2}=1}^{s} ∑_{r_{3}=1}^{s} \frac{∂^{3}g (u_{1},u_{2},...,u_{s})}{∂u_{r_{1}}∂u_{r_{2}}∂u_{r_{3}}} |_{u=z} 𝔼 (∏_{j=1}^{3} (p̂_{r_{j}} − p_{r_{j}}))

et donc :

| \begin{matrix}g \binom{}{p} − 𝔼 (g \binom{}{p}) − ^{t} Gradg|_{p} (p̂− p) − \frac{1}{2!}^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p) \\ +\frac{1}{2!}𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p)) \end{matrix} |

est un o (∥p̂− p∥^{3}). En élevant au carré les deux membres de l’égalité ci-dessus,

on obtient comme expression de (g \binom{}{p} − 𝔼 (g \binom{}{p}))^{2} :

\frac{1}{4} [^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p) − 𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p))]^{2}

+^{t} Gradg|_{p} (p̂− p) [^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p)]

−^{t} Gradg|_{p} (p̂− p) [𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p))]

+ (^{t} Gradg|_{p} (p̂− p))^{2} + h \binom{}{p}

où h \binom{}{p} est une fonction ne comportant que des puissances supérieures ou égales à 3. En prenant l’espérance des deux membres de l’égalité ci-dessus, en isolant les termes de puissances inférieures ou égales à 2 des autres et en tenant compte du fait que 𝔼 (p̂− p) = 0, on a :

V ar (g \binom{}{p}) = 𝔼 [^{t} Gradg|_{p} (p̂− p) ^{t} (p̂− p) Gradg|_{p}]

−\frac{1}{4} [𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p))]^{2} + 𝔼 (h′ \binom{}{p})

où 𝔼 (h′ \binom{}{p}) ne fait intervenir que des moments centrés d’ordres supérieurs ou égaux à 3.

Ainsi l’approximation d’ordre 1 de V ar (g \binom{}{p}) est donnée par :

𝔼 [^{t} Gradg|_{p} (p̂− p) ^{t} (p̂− p) Gradg|_{p}] = \frac{1}{n} ^{t}Gradg|_{p} Σ Gradg|_{p}

c’est-à-dire :

\frac{1}{n} ∑_{(i,j)} (\frac{∂g}{∂p_{ij}} )^{2} p_{ij} (1 − p_{ij}) − \frac{1}{n} ∑_{(i,j)} ∑_{(i,j′≠i,j)} \frac{∂g}{∂p_{ij}} \frac{∂g}{∂p_{i′j′}} p_{ij}p_{i′j′}

Quant à l’approximation d’ordre 2, cette dernière a pour expression :

\frac{1}{n} ^{t}Gradg|_{p} Σ Gradg|_{p} − \frac{1}{4} [𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p))]^{2}

4.2.4 Exemple

Considérons, afin de simplifier les calculs, le cas de deux variables X_{1} et X_{2} possédant respectivement n_{1} et n_{2} valeurs ou modalités et considérons également pour fonction φ la fonction donnée par φ = tLogt. Il vient, à l’aide des notations usuelles :

Î_{φ} \binom{}{X} = ∑_{j_{1},j_{2}} (p̂(γ_{1j_{1}},γ_{2j_{2}}) Log (\begin{matrix}p̂ & (γ_{1j_{1}},γ_{2j_{2}}) \\ p̂ & (γ_{1j_{1}}) & p̂ & (γ_{2j_{2}}) \end{matrix}))

= ∑_{i,j} (p̂_{ij}Log (\frac{p̂_{ij}}{p̂_{i}p̂_{j}} )) : i = 1, 2,..., n_{1} , j = 1, 2,..., n_{2}

où :

p̂_{i} = ∑_{j} p̂_{ij} ; p̂_{j} = ∑_{i} p̂_{ij}

La fonction g \binom{}{p} définie sur ℝ^{n_{1}n_{2}} est donc donnée par :

g \binom{}{p} = ∑_{i,j} (p̂_{ij}Log (\frac{p̂_{ij}}{p̂_{i}p̂_{j}} ))

sous la condition :

∑_{i,j} p̂_{ij} = 1

On a alors, en considérant le développement limité d’ordre 1 :

g \binom{}{p} = g (p) + ^{t} Gradg|_{p} (p̂− p) + o ∥p̂− p∥^{2}

Or :

\frac{∂}{∂p̂_{ij}} (p̂_{ij}Log \frac{p̂_{ij}}{p̂_{i}p̂_{j}} ) = \frac{∂}{∂p̂_{ij}} (p̂_{ij}Log \frac{p̂_{ij}}{(∑_{j} p̂_{ij}) (∑_{i} p̂_{ij})})
= \frac{∂}{∂p̂_{ij}} (p̂_{ij}Log \binom{}{p_{ij}} − p̂_{ij}Log (∑_{j} p̂_{ij}) − p̂_{ij}Log (∑_{i} p̂_{ij}))
= Log \binom{}{p_{ij}} + 1 − Log \binom{}{p_{i}} − Log \binom{}{p_{j}} − \frac{p̂_{ij}}{p̂_{i}} − \frac{p̂_{ij}}{p̂_{j}}

D’où :

t Gradg|_{p} (p̂− p) = ∑_{i,j} (Log \frac{p_{ij}}{p_{i}p_{j}} + 1 − \frac{p_{ij}}{p_{i}} − \frac{p_{ij}}{p_{j}} ) (p̂_{ij} − p_{ij})
= ∑_{i,j} (Log \frac{p_{ij}}{p_{i}p_{j}} − \frac{p_{ij}}{p_{i}} − \frac{p_{ij}}{p_{j}} ) (p̂_{ij} − p_{ij})

Ainsi on obtient comme valeur approchée de g \binom{}{p}:

g \binom{}{p} = ∑_{i,j} p_{ij}Log \frac{p_{ij}}{p_{i}p_{j}} + ∑_{i,j} (Log \frac{p_{ij}}{p_{i}p_{j}} − \frac{p_{ij}}{p_{i}} − \frac{p_{ij}}{p_{j}} ) (p̂_{ij} − p_{ij}) + o ∥p̂− p∥^{2}
= ∑_{i,j} p̂_{ij}Log \frac{p_{ij}}{p_{i}p_{j}} − ∑_{i,j} (\frac{p_{ij}}{p_{i}} + \frac{p_{ij}}{p_{j}} ) (p̂_{ij} − p_{ij}) + o ∥p̂− p∥^{2}

Cette approximation est, au terme médian près, celle obtenue par Moddemeijer[30].

On retrouve alors sans peine sous cette forme que :

𝔼 (g \binom{}{p}) = 𝔼 (Î_{tLogt} \binom{}{X}) = ∑_{i,j} p_{ij}Log \frac{p_{ij}}{p_{i}p_{j}} + o ∥p̂− p∥^{2}
= I_{tLogt} (X_{1},X_{2}) + o ∥p̂− p∥^{2}

En ce qui concerne l’approximation d’ordre 1 de la variance de Î_{φ} \binom{}{X} il vient :

V ar (g \binom{}{p}) = \frac{1}{n} ^{t}Gradg|_{p} Σ Gradg|_{p} + o ∥p̂− p∥^{4}

où Σ = (diag (p) − p^{t}p).

Rappelant que p = vec (p_{ij}) ∈ ℝ^{n_{1}n_{2}}, on obtient comme approximation d’ordre 1 de V ar (g \binom{}{p}) :

\frac{1}{n} ∑_{i,j} (Log \frac{p_{ij}}{p_{i}p_{j}} − \frac{p_{ij}}{p_{i}} − \frac{p_{ij}}{p_{j}} )^{2} p_{ij} (1 − p_{ij})

−\frac{1}{n} ∑_{(i,j)} ∑_{(i,j′≠i,j)} (Log \frac{p_{ij}}{p_{i}p_{j}} − \frac{p_{ij}}{p_{i}} − \frac{p_{ij}}{p_{j}} ) (Log \frac{p_{i′j′}}{p_{i′}p_{j′}} − \frac{p_{i′j′}}{p_{i′}} − \frac{p_{i′j′}}{p_{j′}} ) p_{ij}p_{i′j′}

+o ∥p̂− p∥^{4}

En conséquence, on peut prendre comme estimateur V̂ ar (g \binom{}{p}) de V ar (g \binom{}{p}), l’expression définie par :

\frac{1}{n} ∑_{i,j} (Log \frac{p̂_{ij}}{p̂_{i}p̂_{j}} − \frac{1}{n} \frac{p̂_{ij}}{p̂_{i}} − \frac{p̂_{ij}}{p̂_{j}} )^{2} p̂_{ij} (1 − p̂_{ij})

−\frac{1}{n} ∑_{(i,j)} ∑_{(i,j′≠i,j)} (Log \frac{p̂_{ij}}{p̂_{i}p̂_{j}} − \frac{p̂_{ij}}{p̂_{i}} − \frac{p̂_{ij}}{p̂_{j}} ) (Log \begin{matrix} & p_{i′j′} \\ p_{i′} & p_{j′} \end{matrix} − \frac{p̂_{i′j′}}{p_{i′}} − \begin{matrix} & p_{i′j′} \\ & p_{j′} \end{matrix} ) p̂_{ij}p_{i′j′}

Quant à l’approximation d’ordre 2 donnée par :

\frac{1}{n} ^{t}Gradg|_{p} Σ Gradg|_{p} − \frac{1}{4} [𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p))]^{2}

il vient, en vertu du fait que :

\frac{∂}{∂p_{i′j′}} (\frac{∂}{∂p_{ij}} (p_{ij}Log \frac{p_{ij}}{p_{i}p_{j}} )) = 0 ∀ (i,j) , (i′,j′) : (i,j) ≠ (i′,j′)

et que :

\frac{∂^{2}}{∂p_{ij}^{2}} (p_{ij}Log \frac{p_{ij}}{p_{i}p_{j}} ) = \frac{1}{p_{ij}} − 2 (\frac{1}{p_{i}} + \frac{1}{p_{j}} ) + p_{ij} (\frac{1}{p_{i}^{2}} + \frac{1}{p_{j}^{2}} ) ,

𝔼 (^{t} (p̂− p) D^{(2)}g|_{p} (p̂− p)) = \frac{1}{n} ∑_{(i,j)} \frac{∂^{2}}{∂p_{ij}^{2}} (p_{ij}Log \frac{p_{ij}}{p_{i}p_{j}} ) p_{ij} (1 − p_{ij})

On obtient donc ainsi une expression de l’approximation d’ordre 2 de V ar (g \binom{}{p}) relativement aisée à calculer.

4.3 Propriétés des estimateurs dans le cas paramétrique

4.3.1 Généralités

Dans ce cas, on suppose que le vecteur aléatoire X suit une loi d’un type donné dont la densité f (x,θ) dépend d’un paramètre inconnu θ ∈ Θ ⊆ ℝ^{m}.

L’information mutuelle :

I_{φ} (X,θ) = ∫_{ℝ^{k}} φ (\frac{f (x_{1},x_{2},...,x_{k},θ)}{∏_{i=1}^{i=k} f_{i} (x_{i},θ)}) (∏_{i=1}^{i=k} f_{i} (x_{i},θ)) dx_{1}dx_{2}...dx_{k}

est alors une fonction g (θ) = g (θ_{1},θ_{2},...,θ_{m}) de ℝ^{m} dans ℝ. Désignons par θ̂ un estimateur de θ et soit :

Î_{φ} (X,θ̂) = ∫_{ℝ^{k}} φ (\frac{f (x_{1},x_{2},...,x_{k},θ̂)}{∏_{i=1}^{i=k} f_{i} (x_{i},θ̂)}) (∏_{i=1}^{i=k} f_{i} (x_{i},θ̂)) dx_{1}dx_{2}...dx_{k}

l’estimateur de l’information mutuelle correspondant.

Il est clair que les propriétés de l’estimateur Î_{φ} (X,θ̂) sont étroitement liées

à celles de l’estimateur θ̂ de θ en raison du fait que, en général, I_{φ} (X,θ) est une fonction continue de θ. Ainsi si θ̂ est un estimateur du maximum de vraisemblance de θ, on sait (voir Lehmann [26], Serfling[39]) qu’il existe, sous des conditions peu restrictives, une suite (θ̂_{n}) de solutions du système d’équations de vraisemblance qui converge presque sûrement vers θ et que pour une telle suite on a :

\sqrt{n} (θ̂_{n} − θ) →^{L} N(0,I_{X}^{−1})

où I_{X} désigne la matrice d’information de Fisher de X relativement à Θ. Il s’ensuit, sous des conditions assez générales de régularité portant sur la fonction g (θ),(voir Serfling[39]) que Î_{φ} (X,θ̂) est un estimateur du maximum de vraisemblance de I_{φ} (X,θ) et que :

\sqrt{n} (Î_{φ} (X,θ̂_{n}) − I_{φ} (X,θ)) →^{L} N(0, ^{t}Gradg|_{θ} I_{X}^{−1} Gradg|_{θ})

pour autant que Gradg|_{θ} soit différent de zéro.

4.3.2 Exemples

1) Considérons la fonction φ (t) = tLogt. On a dans ce cas :

I_{φ} (X,θ) = ∫_{ℝ^{k}} φ (\frac{f (x,θ)}{∏_{i=1}^{i=k} f_{i} (x_{i},θ)}) (∏_{i=1}^{i=k} f_{i} (x_{i},θ)) dx_{1}dx_{2}...dx_{k}

= ∫_{ℝ^{k}} f (x,θ) Log (\frac{f (x,θ)}{∏_{i=1}^{i=k} f_{i} (x_{i},θ)}) dx_{1}dx_{2}...dx_{k}

= ∫_{ℝ^{k}} f (x,θ) Log (f (x,θ)) dx_{1}dx_{2}...dx_{k}

− ∑_{i=1}^{i=k} ∫_{ℝ} f_{i} (x_{i},θ) Log (f_{i} (x_{i},θ)) dx_{i}

où encore :

I_{φ} (X,θ) = 𝔼 (Log (f (X,θ))) − ∑_{i=1}^{i=k} 𝔼 (Log (f_{i} (X_{i},θ)))

Dans le cas d’une loi normale multidimensionnelle N (μ,Σ) de ℝ^{k}, il vient, à l’aide des notations habituelles :

I_{φ} (X,Σ) = −\frac{1}{2}Log ((2π)^{k} det Σ) − \frac{1}{2}𝔼 (^{t} (X − μ) Σ^{−1} (X − μ))

+Log ( ∏_{i=1}^{i=k} \sqrt{2πe}σ_{X_{i}})

= \frac{k}{2} + \frac{1}{2}Log (\frac{∏_{i=1}^{i=k} σ_{X_{i}}^{2}}{det Σ} ) − \frac{1}{2}𝔼 (^{t} (X − μ) Σ^{−1} (X − μ))

= \frac{1}{2}Log (\frac{∏_{i=1}^{i=k} σ_{X_{i}}^{2}}{det Σ} )

et par conséquent l’estimateur Î_{φ} (X,θ̂) de l’information mutuelle a pour expression :

Î_{φ} (X,Σ̂) = \frac{1}{2}Log ( ∏_{i=1}^{i=k} σ̂_{X_{i}}^{2} (det Σ̂)^{−1})

où Σ̂ désigne l’estimateur du maximum de vraisemblance de Σ. De plus puisque Σ̂ →^{p} Σ il découle de l’égalité précédente que :

Î_{φ} (X,Σ̂) →^{p} I_{φ} (X,Σ)

Dans le cas particulier où la matrice Σ est de la forme : Σ = (1 − ρ) 𝕀+ρ𝕁 (matrice d’équicorrélation) avec ρ > 0 (sinon il suffit de prendre ρ′ = |ρ|) il vient :

det Σ = (1 − ρ)^{k−1} (1 + ρ (k − 1)) ρ ≠ 1 , − (k − 1)^{−1}

(voir Mardia, Kent et Bibby[27]) et donc :

I_{φ} (X,ρ) = −\frac{1}{2}Log ((1 − ρ)^{k−1} (1 + ρ (k − 1)))

On remarquera que : I_{φ} (X,0) = 0 et lim_{ρ→1}I_{φ} (X,ρ) = ∞.

Ainsi si ρ̂ désigne l’estimateur du maximum de vraisemblance de ρ nous aurons comme estimateur de l’information mutuelle :

−\frac{1}{2}Log ((1 − ρ̂)^{k−1} (1 + ρ̂ (k − 1)))

Or :

\sqrt{n} (ρ̂ − ρ) →^{L} N (0,\frac{(1 − ρ^{2})^{2}}{1 + ρ^{2}} )

(voir Lehmann[26]) et par conséquent il vient, tenant compte du fait que :

\frac{∂}{∂ρ}I_{φ} (X,ρ) = \frac{ρk (k − 1)}{2 (1 − ρ) (1 + ρ (k − 1))}

\sqrt{n} (Î_{φ} (X,ρ̂) − I_{φ} (X,ρ)) →^{L} N (0,\frac{1}{4} \frac{ρ^{2}k^{2} (k − 1)^{2} (1 + ρ)^{2}}{(1 + ρ (k − 1))^{2} (1 + ρ^{2})})

2) Considérons, comme autre exemple, la loi de Gumbel bidimensionnelle Gm (α) de paramètre α, dont la fonction de répartition est donnée par :

F_{X_{1},X2} (x_{1},x_{2}) = (1 − e^{−x_{1}}) (1 − e^{−x_{2}}) (1 + αe^{−x_{1}−x_{2}}) x_{1},x_{2} ≥ 0 ; −1 ≤ α ≤ 1

La copule associée (U_{1},U_{2}) admet pour fonction de répartition :

F_{U_{1},U_{2}} (u_{1},u_{2}) = u_{1}u_{2} (1 + α (1 − u_{1}) (1 − u_{2}))

et pour densité de probabilité :

f_{U_{1},U_{2}} (u_{1},u_{2}) = 1 + α (1 − 2u_{1}) (1 − 2u_{2}) 𝕀_{[0,1]}^{2} (u_{1},u_{2})

Si l’on choisit la fonction φ (t) = (t − 1)^{2}, il vient :

I_{φ} (X,α) = I_{φ} (U,α) = α^{2} ∫_{0}^{1} ∫_{0}^{1} (1 − 2u_{1})^{2} (1 − 2u_{2})^{2} du_{1}du_{2} = \frac{α^{2}}{9}

Par ailleurs un simple calcul montre que : α = 4ρ_{X_{1},X_{2}} (alors que : α = 3ρ_{U_{1},U_{2}}).

Ainsi si ρ̂ désigne l’estimateur usuel de ρ_{X_{1},X_{2}} nous aurons comme estimateur de l’information mutuelle :

Î_{φ} (X,α̂) = (\frac{4}{3}ρ̂)^{2}

Or l’on sait (voir Serfling[39]), en désignant par n le nombre d’observations du vecteur X, que :

\sqrt{n} (ρ̂ − ρ) →^{L} N (0,^{t}aΣa)

où a est un vecteur ne faisant intervenir que les moments d’ordres 1 et 2 de la loi de X = (X_{1},X_{2}) et où Σ est la matrice de variance-covariance du vecteur :

(\overline{X}_{1}, \overline{X}_{2}, \frac{1}{n} ∑_{i=1}^{i=n} X_{1i}^{2}, \frac{1}{n} ∑_{i=1}^{i=n} X_{2i}^{2}, \frac{1}{n} ∑_{i=1}^{i=n} X_{1i}X_{2i})

Il découle alors de cette propriété que :

\sqrt{n} (Î_{φ} (X,α̂) − \frac{16}{9}ρ^{2}) →^{L} N (0,\frac{64}{9}ρ^{2} (^{t}aΣa))

et que :

Î_{φ} (X,α̂) →^{p} \frac{16}{9}ρ^{2}

4.4 Propriétés des estimateurs dans le cas des données brutes

Ce dernier cas, plus complexe que les précédents, s’avère cependant assez fréquent dans la pratique. La principale difficulté, hormis les aspects numériques, réside dans l’estimation de la mesure de probabilité μ_{X} dont les observations ou les données sont issues.

En effet, ne connaissant que la mesure empirique μ_{X}^{n} = \frac{1}{n} ∑_{r=1}^{r=n} δ (X^{r}) où X^{r} ∈ ℝ^{k} pour tout r = 1, 2,..., n, on peut procéder, à l’aide de simples comptages, à l’estimation de la mesure des éléments d’une partition du domaine du vecteur aléatoire X et se ramener ainsi au cas de données classées. Cependant cette approche souffre d’un inconvénient sérieux à savoir le choix arbitraire des éléments de la partition du domaine de X puisque il n’est pas possible, dans ce contexte, de déterminer une partition optimale de ce dernier! On peut également utiliser soit un estimateur à noyau, soit un estimateur à pas fixe, de la densité de μ_{X}.

Mais ici une autre difficulté surgit puisque, en dehors à nouveau d’une part d’arbitraire dans le choix du noyau ou du pas, se pose alors le calcul de l’information mutuelle à l’aide de l’expression d’une densité de forme très souvent fort complexe et obligeant le recours à des techniques d’intégration numériques. Bien que d’un usage relativement peu aisé, cette dernière approche, en raison des propriétés asymptotiques des estimateurs de densité, semble néanmoins la mieux adaptée au problème posé.

Nous rappelons ci-dessous quelques propriétés concernant ces estimateurs (pour un exposé détaillé sur le sujet, on pourra consulter l’ouvrage de Bosq et Lecoutre[8]). Dans le cas d’un estimateur à noyau de la densité f (x) de μ_{X}, on sait qu’un noyau (le plus souvent positif) K est une application de ℝ^{k} dans ℝ^{+}, bornée et d’intégrale 1 par rapport à la mesure de Lebesgue. L’estimateur f_{n} (x) de f (x) associé au noyau K est alors défini par :

f_{n} (x) = \frac{1}{nh_{n}^{k}} ∑_{r=1}^{r=n} K (\frac{x − X^{r}}{h_{n}} ) = (K_{h_{n}} ∗ μ_{X}^{n}) (x) ∀ x ∈ ℝ^{k}

où h_{n} est un nombre réel positif dépendant de n (largeur de la fenêtre).

Posant :

K_{h_{n}} (z) = \frac{1}{h_{n}^{k}} K (\frac{z}{h_{n}} ) z ∈ ℝ^{k}

on remarque que f_{n} n’est autre que le résultat du produit de convolution entre μ_{X}^{n} et K_{h_{n}} (z). On dira de plus qu’il est un noyau de P arzen − Rosenblatt si :

lim_{∥x∥→∞} ∥x∥^{k} K (x) = 0

Parmi les noyaux usuels de ce type citons, entre autres, les suivants :

K (x) = 𝕀_{[−1/2, 1/2]}_{k} (x) : Noyau à fenêtre mobile
K (x) = \frac{1}{2^{k}} 𝕀_{[−1, 1]}_{k} (x) : Noyau cubique
K (x) = V_{k}^{−1}𝕀_{\overline{B}} (x) où \overline{B} est la boule unité de ℝ^{k} de volume V_{k}:

Noyau sphérique

K (x) = \frac{1}{(2π)^{k/2} (det Σ)^{1/2}} e^{− \frac{1}{2} ^{t}xΣ^{−1}x}: Noyau normal
K (x) = C (1 − ∥x∥^{2} /r^{2}) 𝕀_{[0,r]} (∥x∥) où C > 0 est une constante de normalisation :

Noyau d’Epanechnikov

En particulier en ce qui concerne le dernier noyau, celui-ci présente d’intéressantes propriétés d’optimalité asymptotique suivant le critère de “l’erreur quadratique intégrée” dont l’expression est donnée par :

∫ 𝔼 (f_{n} (x) − f (x))^{2} dx

En ce qui concerne les propriétés de convergence de f_{n} (x) vers f (x) ainsi que pour les choix pratiques de K et de h_{n} on pourra consulter Bosq et Lecoutre[8]. Comme mentionné précédemment, il existe d’autres estimateurs de la densité comme les estimateurs à pas fixes, ceux déduits de la méthode des plus proches voisins où encore ceux associés à l’estimation de la densité par projection. Il existe une abondante littérature sur ces sujets et les propriétés, dans ce contexte, de convergence de Î_{φ} \binom{}{X} vers Î_{φ} (X) nécessiterait à elles seules une étude à part tant sur le plan théorique que sur le plan empirique (choix des noyaux, des largeurs de fenêtres, simulations,...). Nous nous proposons dans un prochain travail d’étudier plus particulièrement ces différents aspects.

5 Codage optimal

5.1 Principe

Supposons que, pour les besoins d’une analyse statistique, l’on doive créer, sur un ensemble d’individus, des classes de tailles et des classes de poids. Habituellement on procède en choisissant pour chaque variable et ce indépendamment l’une de l’autre, un ensemble de classes dont la détermination du nombre et de la largeur est, le plus souvent, affaire d’habitude et de pratique (par exemple des classes de largeur 5cm pour les tailles et de largeur 5kg pour les poids). Plutôt que de procéder à ce codage de façon plus ou moins arbitraire, on pourrait plutôt, en exploitant la connaissance a priori de l’information mutuelle entre les variables “taille” et “poids”, procéder à un codage simultané de ces dernières afin de conserver le maximum de l’information disponible avant codage. Cette approche conduira en général à des classes de largeurs inégales pour chacune des variables.

Plus précisement soit, en se plaçant dans le cadre continu, X = (X_{1},X_{2},...,X_{k}) un vecteur aléatoire défini sur le domaine D = ×_{i=1}^{i=k}D_{i} où D_{i} ⊆ ℝ désigne le domaine de la variable X_{i} pour tout i = 1, 2,..., k et dont la mesure de probabilité μ_{X} est connue où estimée à l’aide de méthodes usuelles. Supposons que l’on fixe pour chacune des composantes X_{i} de X, le nombres n_{i} de classes à construire et que l’on fasse par ailleurs choix d’une fonction φ.

Le principe du codage optimal consiste alors, en utilisant les résultats du paragraphe 3, à déterminer une partition P̃ de D = ×_{i=1}^{i=k}D_{i} en ∏_{i=1}^{i=k} n_{i} éléments de sorte que la perte d’informatiom mutuelle consécutive à l’opération de codage, soit la plus petite possible. On sait qu’une telle partition existe et qu’elle est obtenue comme solution d’un problème d’optimisation sous contraintes, à Σ_{i=1}^{i=k}n_{i} − k variables. Il va de soit que le recours à un logiciel tel, par exemple que Maple, est indispensable dans ce contexte.

5.2 Exemple

L’exemple qui suit est emprunté à Tibeiro [42] et illustre les propos ci-dessus. Sur l’ensemble [0,1]^{2}, on considère la mesure de probabilité dont la densité,

par rapport à la mesure de Lebesgue, est donnée par :

f (x,y) = (x + y) 𝕀_{[0,1]×[0,1]} (x,y)

et l’on prend pour fonction φ (t) celle qui correspond à la métrique du χ^{2}, c’està-dire φ (t) = (t − 1)^{2}. Un calcul élémentaire montre alors que I_{(t−1)}^{2} (X,Y) = 9 × 10^{−3}. Ayant fait choix des valeurs n_{1} = n_{2} = 3 on trouve à l’aide du logiciel Maple une partition optimale de [0,1]^{2} en 9 éléments telle qu’illustrée par la figure ci-après.

En raison de la symétrie de la loi du vecteur (X,Y) les variables aléatoires ξP̃ ; 1,ξP̃ ; 2 sont identiques et les calculs montrent que la loi conjointe μ_{ξP̃ ; 1,ξP̃ ; 2} est

Fig. 1 – Partition optimale P̃ de [0,1]^{2} en 9 éléments

donnée par :

μ_{ξP̃ ; 1,ξP̃ ; 2} = \begin{matrix}ξP̃ ; 1⧹ξP̃ ; 2 & [0, 0,2211[ & [0,2211, 0,54[ & [0,54, 1] \\ [0, 0,2211[ & 0,0108 & 0,0346 & 0,0895 \\ [0,2211, 0,54[ & 0,0346 & 0,0774 & 0,1687 \\ [0,54, 1] & 0,0895 & 0,1687 & 0,3258 \end{matrix}

que les lois marginales sont données par :

μ_{ξ}P̃ ; 1 = μ_{ξ}P̃ ; 2 = (0,1349 , 0,2807 , 0,584)

et que : I_{(t−1)}^{2} (ξP̃ ; 1,ξP̃ ; 2) = 7 × 10^{−3}, soit 77% de l’information mutuelle ini-

tiale entre les variables X et Y. Une partition optimale de [0,1]^{2} en 4 éléments donnerait :

μ_{ξP̃ ; 1,ξP̃ ; 2} = \begin{matrix}ξP̃ ; 1⧹ξP̃ ; 2 & [0, 0,361[ & [0,361, 1[ \\ [0, 0,361[ & 0,05 & 0,205 \\ [0,361, 1[ & 0,205 & 0,54 \end{matrix}

μ_{ξ}P̃ ; 1 = μ_{ξ}P̃ ; 2 = (0,255 , 0,745)

avec : I_{(t−1)}^{2} (ξP̃ ; 1,ξP̃ ; 2) = 5 × 10^{−3}, soit 55% de l’information mutuelle initiale. Bien entendu, si l’on choisit une autre fonction φ on obtiendra une partition optimale de [0,1]^{2} différente de la précédente.

Lorsque les observations portent sur des variables aléatoires discrètes (dans la pratique les valeurs de ces variables seront le plus souvent entières), la recherche des classes optimales s’avère plus compliquée que dans le cas précédent. puisque l’on ne peut dans ce contexte, utiliser les techniques habituelles de l’analyse. On doit alors, soit utiliser des méthodes d’optimisation en nombres entiers (méthodes s’avérant en général fort complexes), soit recourir, comme il est d’usage de le faire dans la pratique, à des approximations ou à des heuristiques. On pourra consulter à ce sujet Beasley [7].

Cet exemple traite également du cas où le vecteur aléatoire X est à support non borné, puisque, dans le cadre retenu nous pouvons, grâce à la représentation de μ_{X} sous forme de copule, nous ramener à un codage sur le cube [0,1]^{k} par le biais de la transformation :

U_{i} = F_{i} (X_{i}) ∀ i = 1, 2,..., k

Ayant alors déterminé le codage optimal pour le vecteur U = (U_{1},U_{2},...,U_{k}), il suffira d’utiliser la transformation inverse :

X_{i} = F_{i}^{−1} (U_{i}) ∀ i = 1, 2,..., k

afin de déterminer les bornes des classes pour les variables initiales puisque la transformation inverse conserve également l’information mutuelle.

6 Classification

6.1 Généralités

Les notions d’information mutuelle et de divergence, peuvent conduire à des critères et des algorithmes de classification permettant de tirer profit de l’information de masse disponible dans les grands ensembles de données. Dans le cas, par exemple, où les données sont assimilables à des tableaux de contingence (à n variables), il est possible d’utiliser l’aspect probabiliste de ce type de données afin de rendre compte de la proximité de deux ou plusieurs observations.

Supposons, à titre d’illustration, que l’on dispose dans un ensemble de données médicales, d’une correspondance ternaire croisant les modalités des variables causes de décés, catégories socio-professionnelles et activités physiques. Si l’on s’intéresse plus particulièrement aux causes de décés, on peut vouloir, pour diverses raisons, regrouper les causes en fonction de leurs liens avec les catégories socio-professionnelles et les activités physiques. Si l’on désire procéder à une classification hiérarchique des causes, il semble alors naturel, dans ce contexte, d’adopter comme stratégie d’agrégation (aprés avoir fait choix d’une définition de représentant par classe comme par exemple le profil qui rend la classe la plus homogène possible), celle qui consiste à regrouper les causes dont les profils présentent la plus petite divergence possible (ou, ce qui revient au même, les causes pour lesquelles les informations mutuelles conditionnelles entre les deux autres variables sont les plus semblables).

Enfin parmi les fonctions φ que l’on peut choisir, certaines correspondent à des métriques (distance en variation, distance de Hellinger, distance du χ^{2}) alors que d’autres non ; dans ce dernier cas, on pourrait vouloir choisir, pour diverses raisons, une version symétrique de la divergence à l’aide, non pas de la fonction φ directement, mais de la fonction φ̃ en considérant l’expression :

φ̃ (t) = φ (t) + tφ (\frac{1}{t})

Considérons à titre d’exemple, deux ensembles de variables aléatoires quelconques X = (X_{1},X_{2},...,X_{p}) et Y = (Y_{1},Y_{2},...,Y_{q}) de densité conjointe f (x,y) et soient :

{u_{i} = (X_{(i)},Y_{(i)}) i = 1,2,...,n}

n observations du couple (X,Y). Les données peuvent alors se présenter sous la forme de deux tableaux juxtaposés X et Y pouvant être, éventuellement, de natures très diverses. Ainsi X peut être associé à des mesures ou à des notes alors que Y peut être associé à des comptages ou à des effectifs.

X  Y
X_{1} X_{2} ... X_{i} ... X_{p} Y_{1} Y_{2} ... Y_{j} ... Y_{q}
u_{1} x_{11} x_{21}  x_{i1}  x_{p1} y_{11} y_{21}  y_{j1}  y_{q1}
u_{2} x_{12} x_{22}  x_{i2}  x_{p2} y_{12} y_{22}  y_{j2}  y_{q2}
⋮
u_{k} x_{1k} x_{2k}  x_{ik}  x_{pk} y_{1k} y_{2k}  y_{jk}  y_{qk}
⋮
u_{n} x_{1n} x_{2n}  x_{in}  x_{pn} y_{1n} y_{2n}  y_{jn}  y_{qn}

Dans ce cas, les méthodes d’analyses usuelles ne peuvent s’appliquer telles quelles car dans le présent contexte, le “profil” par exemple de la i^{eme} observation u_{i}, ne peut pas, en raison même de l’hétérogéneïté des mesures, se concevoir raisonnablement en considérant comme élément de normalisation, le total de la ligne i. A titre d’exemple, considérons un processus ponctuel marqué possédant r états e_{1}, e_{2},..., e_{r} et supposons que l’on dispose de n réalisations de ce processus, pour lesquelles on note les temps de séjour t_{1}, t_{2},..., t_{r} dans chaque état ainsi que le nombre de changements d’états, soit d’ordre un soit d’ordre deux.

Le tableau de données sera donc dans ce cas obtenu comme la juxtaposition de deux tableaux X et Y, l’un X associé aux temps de séjour, l’autre Y associé au comptage des changements d’états d’ordre un ou deux. Dans ce cas X sera de format n × r, alors que Y sera de format n × r (r − 1) (ordre 1) ou de format n × r (r − 1)^{2} (ordre 2).

En revanche, en considérant indépendamment l’un et l’autre les tableaux X et Y, il est possible de définir de manière usuelle le profil de la ligne i, assimilable à des mesures de probabilité (l’une dans ℝ^{p} et l’autre dans ℝ^{q}), donné à l’aide de notations évidentes par :

({x_{ij}⧸x_{i·}; j = 1, 2,..., p} , {y_{ik}⧸y_{i·}; k = 1, 2,..., q})

Ainsi, chaque observation peut être vue comme une mesure de probabilité empirique sur (ℝ^{p} × ℝ^{q} , B_{ℝ^{p}}⊗B_{ℝ^{q}}) pour laquelle les tableaux X et Y permettent d’estimer les mesures de probabilité marginales. Cependant, cette façon de présenter les données, ne permet pas d’obtenir une estimation de la loi conjointe du couple (X,Y) et donc ne permet pas d’exploiter à des fins d’analyses, l’information mutuelle entre les variables X et Y.

6.2 Position du problème

6.2.1 Introduction

Disposant d’un tableau de données tel que décrit ci-dessus, on désire, par exemple dans le cas où les conditions de réalisations d’un processus sont modifiées (cas d’un processus biologique dont les conditions expérimentales sont modifiées), effectuer une classification hiérarchique des observations afin de vérifier si les conditions qui ont été modifiées, ont une influence réelle sur l’évolution du processus (différence significative entre les temps de séjours ou nombre de changements d’états significativement différents).

A cette fin, on peut penser à définir un indice de similarité entre les obsservations (ou un indice de dissimilarité) et procéder, suivant les techniques habituelles à la construction de la hiérarchie. Cependant, l’hétérogénéïté des deux ensembles de variables, complique singulièrement la situation. En effet, s’il semble aisé dans ce cas d’interpréter le fait que deux observations soient très semblables (temps de séjours et nombre de changements d’états peu différents), il semble beaucoup plus délicat d’interpréter le fait que deux observations soient très dissemblables dans la mesure où l’indice considéré de la dissimilarité ne permet pas en général d’isoler la part de celle due aux variables X de celle due aux variables Y. La question est donc de savoir comment construire un indice, qu’il soit de similarité ou de dissimilarité, sans que l’un des ensembles X ou Y y prenne part de façon prépondérante et ce au détriment de l’autre.

Il semblerait que la réponse à cette question n’accorde que peu d’intérêt aux indices construits à l’aide des métriques usuelles en raison principalement de leur grande sensibilité aux variations d’échelles. En revanche, l’aspect probabiliste mis en évidence par les profils {x_{ij}⧸x_{i·}} et {y_{ik}⧸y_{i·}} pour i = 1, 2,..., n , j = 1, 2,..., p et k = 1, 2,..., q permet de présenter les données sous une forme homogène à partir de laquelle il est possible de construire un indice de similarité (ou de dissimilarité) soit en faisant appel de nouveau à diverses métriques (χ^{2}, Hellinger, distance en variation, distance de Minkowski...) soit, si l’on désire s’affranchir entièrement de l’aspect métrique, en faisant appel à la notion de divergence généralisée dont on rappelle ci-dessous, dans le cas fini, la définition ainsi que quelques propriétés (voir également le paragraphe 2).

6.2.2 Divergence généralisée

Soit (I, P (I)) un ensemble mesurable tel que Card (I) = r et soient ℙ et ℚ deux mesures de probabilité définies sur P (I) et absolument continues l’une par rapport à l’autre. Étant donnée une fonction φ convexe de ℝ^{+}\ {0} dans ℝ satisfaisant aux conditions énoncées dans le paragraphe 2, on appelle divergence généralisée (ou φ − divergence) entre les mesures de probabilité ℙ et ℚ, la quantité définie par :

D_{φ} (ℙ,ℚ) = ∑_{i=1}^{r} φ (\frac{p_{i}}{q_{i}} ) q_{i} = 𝔼^{ℚ} [φ (\frac{dℙ}{dℚ})]

On sait par ailleurs que D_{φ} (ℙ,ℚ) ≥ φ (1) l’égalité n’ayant lieu que si et seulement si ℙ = ℚ en autant que φ soit strictement convexe en t = 1.

Il est clair, en général, que D_{φ} (ℙ,ℚ) ≠ D_{φ} (ℚ,ℙ). Il existe alors une version symétrisée de la divergence associée à la fonction φ̃ donnée par :

φ̃ (t) = φ (t) + tφ (\frac{1}{t})

Il vient alors :

Dφ̃ (ℙ,ℚ) = ∑_{i=1}^{r} [φ (\frac{p_{i}}{q_{i}} ) + \frac{p_{i}}{q_{i}} φ (\frac{q_{i}}{p_{i}} )] q_{i}
= ∑_{i=1}^{r} φ (\frac{p_{i}}{q_{i}} ) q_{i} + ∑_{i=1}^{r} φ (\frac{q_{i}}{p_{i}} ) p_{i}
= 𝔼^{ℚ} [φ (\frac{dℙ}{dℚ})] + 𝔼^{ℙ} [φ (\frac{dℚ}{dℙ})]

Si l’on désire, pour des raisons de normalisation ou de comparaison, conserver l’inégalité Dφ̃ (ℙ,ℚ) ≥ φ̃ (1) on doit choisir φ̃ tel que :

φ̃ (t) = λφ (t) + (1 − λ) tφ (\frac{1}{t})

où λ ∈ ]0,1[.

On notera alors, si besoin est, la divergence associée à cette fonction par : D_{φ̃,λ} (ℙ,ℚ). Il est clair que Dφ̃ (ℙ,ℚ) = Dφ̃ (ℚ,ℙ) mais que D_{φ̃,λ} (ℙ,ℚ) = D_{φ̃,λ} (ℚ,ℙ) que si et seulement si λ = \frac{1}{2} et qui dans ce cas, généralise la notion de rayon d’information tel qu’introduit par Sibson (voir Sibson[40] ainsi que Jardine et Sibson[25])

6.2.3 Construction d’un indice de dissimilarité

Considérons à nouveau un tableau de données tel qu’introduit précédemment et obtenu par la juxtaposition des tableaux associés respectivement à X et Y. Notons par μ_{i} et λ_{i} les mesures de probabilité empiriques associées à la i^{eme} observation et de supports S_{p} et S_{q} où S_{p} et S_{q} désignent les simplexes de ℝ^{p} et de ℝ^{q}.

Ainsi, toute observation i (i = 1, 2,..., n) peut être considérée comme un élément (μ_{i},λ_{i}) appartenant à S_{p} ×S_{q} ⊆ ℝ^{p} ×ℝ^{q} et l’indice de dissimilarité doit prendre en compte simultanément les mesures de probabilité μ_{i} et λ_{i}. Afin de mesurer l’écart entre deux mesures de probabilité, nous avons vu dans ce qui précède que nous pouvons envisager comme indice de dissimilarité (ou de similarité au besoin en posant, si d désigne l’indice de dissimilarité : s = (1 + d)^{−1}), la divergence (version symétrisée ou non) entre les mesures considérées. Le fait que la divergence ne soit pas naturellement symétrique, doublé du fait que la version symétrique ne soit pas d’un emploi particulièrement aisé, nous amène à proposer l’approche suivante.

Considérons trois mesures de probabilité ℙ = {p_{i}}, ℚ = {q_{i}} et ℝ = {r_{i}} définies sur le même espace (I, P (I)) où ℝ désigne une mesure de référence (par exemple la mesure de probabilité uniforme dans le cas fini) telle que ℙ ≪ ℝ et que ℚ ≪ ℝ. On définit alors l’écart Δ_{φ,ℝ} (ℙ,ℚ) entre ℙ et ℚ par rapport à ℝ par :

Δ_{φ,ℝ} (ℙ,ℚ) = |D_{φ} (ℙ,ℝ) − D_{φ} (ℚ,ℝ)|
= |∑_{i} φ (\frac{p_{i}}{r_{i}} ) r_{i} − ∑_{i} φ (\frac{q_{i}}{r_{i}} ) r_{i}|
= |∑_{i} (φ (\frac{p_{i}}{r_{i}} ) − φ (\frac{q_{i}}{r_{i}} )) r_{i}|

Ainsi on a :

Δ_{φ,ℝ} (ℙ,ℚ) = Δ_{φ,ℝ} (ℚ,ℙ)

De fait, ℝ n’a même pas besoin d’être une mesure de probabilité puisque il suffit que celle-ci soit finie ou σ −finie pour que les relations précédentes soient valides. En particulier si ℝ est une mesure de comptage sur I, alors :

D_{φ} (ℙ,ℝ) = ∑_{i} φ (p_{i}) ; D_{φ} (ℚ,ℝ) = ∑_{i} φ (q_{i})

ce qui, dans le cas où l’on choisit pour fonction φ (t) la fonction tLogt conduit à :

Δ_{φ,ℝ} (ℙ,ℚ) = |∑_{i} p_{i}Log (p_{i}) − ∑_{i} q_{i}Log (q_{i})|

soit encore, en notant par X et Y les variables aléatoires de lois respectives ℙ et ℚ et par H (X) et H (Y) leur entropie correspondante :

Δ_{φ,ℝ} (ℙ,ℚ) = Δ_{φ,ℝ} (X,Y) = |H (X) − H (Y)|

Si ℝ est une mesure de probabilité quelconque, nous aurons plus généralement dans ce cas :

Δ_{φ,ℝ} (ℙ,ℚ) = |H (X) − H (Y) + ∑_{i} (p_{i} − q_{i}) Log (r_{i})|

Par ailleurs, si l’on désigne par 𝕄 = {m_{i}} une autre mesure de probabilité (absolument continue par rapport à ℝ), il vient :

Δ_{φ,ℝ} (ℙ,ℚ) = |∑_{i} φ (\frac{p_{i}}{r_{i}} ) r_{i} − ∑_{i} φ (\frac{m_{i}}{r_{i}} ) r_{i} + ∑_{i} φ (\frac{m_{i}}{r_{i}} ) r_{i} − ∑_{i} φ (\frac{q_{i}}{r_{i}} ) r_{i}|
≤ |∑_{i} (φ (\frac{p_{i}}{r_{i}} ) − φ (\frac{m_{i}}{r_{i}} )) r_{i}| + |∑_{i} (φ (\frac{m_{i}}{r_{i}} ) − φ (\frac{q_{i}}{r_{i}} )) r_{i}|
≤ Δ_{φ,ℝ} (ℙ,𝕄) + Δ_{φ,ℝ} (𝕄,ℚ)

Ainsi la quantité Δ_{φ,ℝ} (·,·) possède les propriétés d’une semi-distance ou encore, d’un écart, à savoir : la symétrie, l’inégalité triangulaire et la semi-positivité. Si ℙ = ℚ, il est clair que Δ_{φ,ℝ} (ℙ,ℚ) = 0. Par contre si Δ_{φ,ℝ} (ℙ,ℚ) = 0 on ne peut en conclure nécessairement que ℙ = ℚ.

Si l’on considère maintenant le cas continu, désignons par ℙ,ℚ et ℝ trois mesures de probabilité (bien que cela ne soit pas absolument nécessaire dans le cas de la mesure ℝ) telles que ℙ ≪ ℝ et ℚ ≪ ℝ. Il vient, en utilisant la même démarche que ci-dessus :

Δ_{φ,ℝ} (ℙ,ℚ) = |∫ (φ (\frac{dℙ}{dℝ}) − φ (\frac{dℚ}{dℝ})) dℝ|

On obtient alors les mêmes propriétés que dans le cas discret.

On peut également définir un écart ( au sens L^{1}) entre les mesures de probabilité ℙ et ℚ relativement à la mesure de référence ℝ, à l’aide de l’expression δ_{φ,ℝ}^{1} (ℙ,ℚ) définie par :

δ_{φ,ℝ}^{1} (ℙ,ℚ) = ∫ |φ (\frac{dℙ}{dℝ}) − φ (\frac{dℚ}{dℝ})| dℝ

Nous aurons alors :

– i) δ_{φ,ℝ}^{1} (ℙ,ℚ) = δ_{φ,ℝ}^{1} (ℚ,ℙ) (Symétrie)

– ii) δ_{φ,ℝ}^{1} (ℙ,ℚ) ≥ 0 (Positivité)

– iii) δ_{φ,ℝ}^{1} (ℙ,ℚ) ≤ δ_{φ,ℝ}^{1} (ℙ,𝕄) + δ_{φ,ℝ}^{1} (𝕄,ℚ) pour toute autre mesure de probabilité 𝕄 (inégalité du triangle)

– iv) Si ℙ = ℚ alors : δ_{φ,ℝ}^{1} (ℙ,ℚ) = 0 – v) Si δ_{φ,ℝ}^{1} (ℙ,ℚ) = 0 alors : φ (\frac{dℙ}{dℝ}) = φ (\frac{dℚ}{dℝ}) ℝ − p.s. ce qui entraîne que :

D_{φ} (ℙ,ℝ) = D_{φ} (ℚ,ℝ)

ce qui, pour certaines fonctions φ (en particulier pour les fonctions φ monotones), a pour conséquence que ℙ = ℚ ℝ − p.s.

Dans le cas discret, il suffit bien entendu de remplacer le signe d’intégration par le signe de sommation.

De même l’écart (au sens L^{2}) entre les mesures de probabilité ℙ et ℚ relativement à la mesure de référence ℝ sera donné par :

δ_{φ,ℝ}^{2} (ℙ,ℚ) = [∫ (φ (\frac{dℙ}{dℝ}) − φ (\frac{dℚ}{dℝ}))^{2} dℝ]^{1/2}

Enfin on peut également considérer comme écart (parmi d’autres) celui défini par :

δ_{φ,ℝ}^{∞} (ℙ,ℚ) = ess sup |φ (\frac{dℙ}{dℝ}) − φ (\frac{dℚ}{dℝ})|

Dans la pratique, on choisira le plus souvent comme mesure de référence, la mesure de comptage dans le cas discret et la mesure de Lebesgue dans le cas continu, ce qui avec les notations usuelles mettant en évidence les densités respectives f et g de ℙ et ℚ par rapport à ℝ donnera :

δ_{φ}^{1} (f,g) = ∑_{i} |φ (f_{i}) − φ (g_{i})| ; δ_{φ}^{∞} (f,g) = sup_{i} |φ (f_{i}) − φ (g_{i})|

δ_{φ}^{2} (f,g) = [∑_{i} (φ (f_{i}) − φ (g_{i}))^{2}]^{1/2}
δ_{φ}^{1} (f,g) = ∫ |φ (f) − φ (g)| dμ ; δ_{φ}^{∞} (f,g) = ess sup |φ (f) − φ (g)|
δ_{φ}^{2} (f,g) = [∫ (φ (f) − φ (g))^{2} dμ]^{1/2}

6.3 Classification hiérarchique

Nous nous contenterons, dans ce paragraphe, de donner les éléments de base conduisant à la construction d’une hiérarchie d’objets assimilables à des mesures de probabilité et ce à l’aide des outils de la théorie de l’information présentés cidessus. En effet, ce sujet est si vaste qu’il mériterait à lui seul un développement complet et détaillé comportant, en plus de la théorie, l’étude des stratégies d’agrégation ainsi que la construction d’algorithmes de classifications indicées ou non. Il est dans notre intention d’aborder l’ensemble de ces questions lors d’un prochain rapport de recherche.

Considérons alors deux éléments (μ_{i},ν_{i}) et (μ_{i′},ν_{i′}) i,i′ ∈ I = 1,2,...,n, appartenant à S_{p} × S_{q} ⊆ ℝ^{p} × ℝ^{q} et supposons que l’on ait fait choix de deux indices de dissimilarité δ_{1} et δ_{2} définis respectivement sur S_{p} et S_{q}. Il est alors facile de définir sur I × I un indice de dissimilarité prenant en compte tous les caractères (qu’ils soient quantitatifs ou qualititatifs). De façon générale, si k désigne le nombre de caractères C_{1},C_{2},...,C_{k}, de poids respectifs λ_{1}, λ_{2},..., λ_{k} (λ_{j} > 0 pour j = 1, 2,..., k) et si δ_{1}, δ_{2},..., δ_{k} désignent les indices de dissimilarité associés à C_{1}, C_{2},..., C_{k}, on pose :

∀ (i,i′) ∈ I × I δ(i,i′) = [ ∑_{j=1}^{j=k} λ_{j} (δ_{j} (i,i′))^{r}]^{1/r} r ≥ 1

Cet indice agrégé, de la famille des indices de Minkowski, permet de conserver certaines propriétés des indices δ_{j} (par exemple, si les indices sont des écarts ou des distances il en est de même de δ). Le choix des poids λ_{j} pour j = 1, 2,..., k dépend des objectifs poursuivis. Ainsi, si l’on désire que les caractères aient la même importance dans le calcul des dissimilarités entre éléments de I, on choisira comme poids λ_{j} ( j = 1, 2,..., k), ceux donnés par les relations :

λ_{j} = \frac{γ}{∑_{i} ∑_{i′} p_{i}p_{i′} (δ_{j} (i,i′))^{r}} j = 1, 2,..., k

où p_{i} désigne le poids affecté à l’observation i (p_{i} > 0 ; ∑_{i} p_{i} = 1) et où γ désigne un nombre positif (coefficient de normalisation par exemple). Dans ce cas, la moyenne sur tous les couples d’observations de la quantité λ_{j} (δ_{j} (i,i′))^{r}, qui n’est autre que la contribution du caractère C_{j} à la dissimilarité agrégée δ^{r}, est la même pour tous les caractères.

Ayant alors fait choix d’un indice d’agrégation des classes (lien minimum, lien maximum, lien moyen, centres mobiles, minimisation d’un critère...), on procède de façon habituelle suivant la stratégie adoptée. Si cette dernière est de nature “divise”, on obtiendra une classification hiérarchique descendante, alors que si elle est de nature “agglomérative”, on obtiendra une classification hiérarchique ascendante.

Notons que dans le présent contexte, il est possible de considérer des stratégies d’agrégation pour lesquelles à chaque pas on substitue à une classe d’éléments, un élément unique jouant le rôle de barycentre de la classe. A cet effet, il est possible de définir la notion de barycentre de la façon suivante. Considérons deux mesures de probabilité ℙ et ℚ définies sur le même espace et soit λℙ+ (1 − λ) ℚ un point du “segment” d’extrémités ℙ et ℚ (0 ≤ λ ≤ 1). (de façon plus générale, si les mesures de probabilité appartiennent à une variété donnée il faudrait considérer la géodésique reliant les points ℙ et ℚ). On définit alors le barycentre entre ℙ et ℚ comme étant la mesure de probabilité ℝ de la forme λ^{∗}ℙ+ (1 − λ^{∗}) ℚ où le paramètre λ^{∗} est donné par :

λ^{∗} = Argmin_{λ} [D_{φ} (ℙ,λℙ+ (1 − λ) ℚ) + D_{φ} (ℚ,λℙ+ (1 − λ) ℚ)]

Par exemple si φ (t) = −Logt, nous aurons, dans le cas discret :

D_{φ} (ℙ,λℙ+ (1 − λ) ℚ) = ∑_{i} Log (\frac{λp_{i} + (1 − λ) q_{i}}{p_{i}} ) (λp_{i} + (1 − λ) q_{i})
D_{φ} (ℚ,λℙ+ (1 − λ) ℚ) = ∑_{i} Log (\frac{λp_{i} + (1 − λ) q_{i}}{q_{i}} ) (λp_{i} + (1 − λ) q_{i})

ce qui donne :

\frac{d}{dλ} [D_{φ} (ℙ,λℙ+ (1 − λ) ℚ) + D_{φ} (ℚ,λℙ+ (1 − λ) ℚ)]
= ∑_{i} [Log (\frac{λp_{i} + (1 − λ) q_{i}}{\sqrt{p_{i}q_{i}}} )] (p_{i} − q_{i})

quand à la dérivée seconde nous aurons :

\frac{d^{2}}{dλ^{2}} [D_{φ} (ℙ,λℙ+ (1 − λ) ℚ) + D_{φ} (ℚ,λℙ+ (1 − λ) ℚ)]
= ∑_{i} (\begin{matrix}(p_{i} − q_{i}) & 2 \\ (λp_{i} + (1 − λ) q_{i}) & \sqrt{p_{i}q_{i}} \end{matrix} )

Cette expression étant strictement positive (sauf si ℙ = ℚ), nous sommes assurés de l’existence d’une valeur unique λ^{∗} de λ qui, dans le cas présent, devra être déterminé à l’aide de méthodes numériques. On notera que si ℙ = ℚ, le barycentre est confondu bien entendu avec ℙ. Par ailleurs pour λ = 1 la dérivée par raport à λ a pour expression :

∑_{i} [Log (\sqrt{\frac{p_{i}}{q_{i}}} )] (p_{i} − q_{i})

alors que pour λ = 0 cette même dérivée est égale à :

∑_{i} [Log (\sqrt{\frac{q_{i}}{p_{i}}} )] (p_{i} − q_{i}) = − ∑_{i} [Log (\sqrt{\frac{p_{i}}{q_{i}}} )] (p_{i} − q_{i})

Ainsi les dérivées aux extrémités du segment ℙℚ sont de signes opposés et la solution λ^{∗}ℙ+ (1 − λ^{∗}) ℚ appartient bien au segment considéré.

Enfin, si les mesures de probabilité ℙ et ℚ sont affectées des poids ou masses m_{1} et m_{2} (m_{1} > 0 ; m_{2} > 0) alors le barycentre de ℙ et ℚ correspondra à la valeur λ^{∗} de λ telle que :

λ^{∗} = Argmin_{λ} [m_{1}D_{φ} (ℙ,λℙ+ (1 − λ) ℚ) + m_{2}D_{φ} (ℚ,λℙ+ (1 − λ) ℚ)]

De même si nous considérons la fonction φ (t) = t^{2} (ou encore φ (t) = t^{2} −1), nous aurons, toujours dans le cas discret :

D_{φ} (ℙ,λℙ+ (1 − λ) ℚ) = ∑_{i} \frac{p_{i}^{2}}{λp_{i} + (1 − λ) q_{i}}
D_{φ} (ℚ,λℙ+ (1 − λ) ℚ) = ∑_{i} \frac{q_{i}^{2}}{λp_{i} + (1 − λ) q_{i}} .

D’où :

\frac{d}{dλ} ∑_{i} \frac{p_{i}^{2} + q_{i}^{2}}{λp_{i} + (1 − λ) q_{i}} = ∑_{i} \begin{matrix}(p_{i}^{2} + q_{i}^{2}) & (q_{i} − p_{i}) \\ (λp_{i} + (1 − λ) q_{i}) & 2 \end{matrix}

et :

\frac{d^{2}}{dλ^{2}} ∑_{i} \frac{p_{i}^{2} + q_{i}^{2}}{λp_{i} + (1 − λ) q_{i}} = ∑_{i} \frac{2 (p_{i}^{2} + q_{i}^{2}) (q_{i} − p_{i})^{2}}{(λp_{i} + (1 − λ) q_{i})^{3}} ≥ 0

A nouveau, la détermination de la valeur λ^{∗} nécessitera le recours à des méthodes numériques. Notons que le passage au cas continu est immédiat et que les résultats sont identiques.

Enfin, il est clair que les calculs précédents relatifs à la détermination du barycentre sont également valides dans le cas de lois multidimensionnelles et, dans ce cadre, l’utilisation d’un critère d’agrégation de classes utilisant la notion d’information mutuelle semble être une alternative au critère de divergence, particulièrement intéressante à explorer. Nous aborderons cet aspect, ainsi que les traitements numériques qui en découlent, lors d’une prochaine étude.

7 Analyse de l’information mutuelle

7.1 Cadre général

On considère une variable aléatoire Y qui dépend d’un certain nombre de variables X_{1}, X_{2},..., X_{n}, appelées fréquemment covariables et que l’on supposera, de même que Y, toutes continues. Afin de faciliter la présentation, nous nous restreindrons au cas de deux covariables X_{1} et X_{2}. Notons par f (y,x_{1},x_{2}) la densité de probabilité du vecteur aléatoire (Y,X_{1},X_{2}) et par f_{Y} (y) et f_{X_{1},X_{2}} (x_{1},x_{2}) les densités marginales de Y et du couple (X_{1},X_{2}).

Ayant fait choix d’une fonction φ, l’information mutuelle entre Y et les covariables (X_{1},X_{2}) est alors donnée par :

I_{φ} (Y, (X_{1},X_{2})) = ∫ φ [\frac{f (y,x_{1},x_{2})}{f_{Y} (y) f_{X_{1},X_{2}} (x_{1},x_{2})}] f_{Y} (y) f_{X_{1},X_{2}} (x_{1},x_{2}) dx_{1}dx_{2}dy

Désignant par μ_{Y,X_{1},X_{2}}, μ_{Y} et μ_{X_{1},X_{2}} les mesures de probabilité (par rapport à une mesure de référence) associées respectivement aux densités f (y,x_{1},x_{2}), f_{Y} (y) et f_{X_{1},X_{2}} (x_{1},x_{2}) l’information mutuelle entre Y et (X_{1},X_{2}) peut s’exprimer également sous la forme :

I_{φ} (Y, (X_{1},X_{2})) = ∫ φ [\frac{dμ_{Y,X_{1},X_{2}}}{dμ_{Y} ⊗ dμ_{X_{1},X_{2}}} ] dμ_{Y} ⊗ dμ_{X_{1},X_{2}}
= 𝔼^{μ^{Y}} [𝔼^{μ^{X_{1},X_{2}}} (φ (\frac{dμ_{Y,X_{1},X_{2}}}{dμ_{Y} ⊗ dμ_{X_{1},X_{2}}} ))]
= 𝔼^{μ^{X_{1},X_{2}}} [𝔼^{μ^{Y}} (φ (\frac{dμ_{Y |X_{1},X_{2}}}{dμ_{Y}} ))]

De la même façon on peut également écrire :

I_{φ} (Y, (X_{1},X_{2})) = 𝔼^{μ^{Y}} [𝔼^{μ^{X_{1},X_{2}}} φ (\frac{dμ_{X_{1},X_{2}|Y}}{dμ_{X_{1},X_{2}}} )]

On se propose alors d’étudier l’influence des variables X_{1}, X_{2} et du couple (X_{1},X_{2}) sur la variable Y en utilisant une approche prenant en compte, non pas une surface de réponse du type y = h (x_{1},x_{2}), mais plutôt les liens probabilistes entre les variables X_{1}, X_{2} le couple (X_{1},X_{2}) et Y.

Afin d’illustrer la démarche proposée, considérons l’exemple suivant. Sur un ensemble d’individus, on dispose de mesures concernant les variables suivantes :

X_{1} : T aille; X_{2} : P oids; Y : Endurance à un effort physique

ou encore :

X_{1} : T aille; X_{2} : P oids; Y : habileté à exécuter certaines tâches

A priori, on peut penser qu’à tailles égales, l’endurance à un type d’effort physique ou encore l’habileté à accomplir certaines tâches puisse être fonction du poids. De même, à poids égaux, il est possible que l’endurance ou l’habileté soit fonction de la taille. Ainsi, comme dans le cadre de l’analyse de la variance, on peut concevoir que le lien probabiliste entre Y et X_{1}, X_{2} puisse être du à des liens entre Y et X_{1}, Y et X_{2} et entre Y et (X_{1},X_{2}), lesquels pouvant s’exprimer à l’aide des informations mutuelles suivantes :

I_{φ} (Y,X_{1},X_{2}) ; I_{φ} (Y, (X_{1},X_{2})) ; I_{φ} (Y,X_{1}) ; I_{φ} (Y,X_{2}) et I_{φ} (X_{1},X_{2})

Il est clair que si les variables X_{1} et X_{2} sont indépendantes en probabilité on a :

I_{φ} (X_{1},X_{2}) = 0 et I_{φ} (Y,X_{1},X_{2}) = I_{φ} (Y, (X_{1},X_{2}))

Pour des commodités d’écriture, posons Z = (Y,X_{1},X_{2}) et X = (X_{1},X_{2}). on a alors :

I_{φ} (Z) = I_{φ} (μ_{Z} ; μ_{Y} ⊗ μ_{X_{1}} ⊗ μ_{X_{2}})
I_{φ} (Y,X) = I_{φ} (μ_{Z} ; μ_{Y} ⊗ μ_{X})
I_{φ} (Y,X_{1}) = I_{φ} (μ_{Y,X_{1}} ; μ_{Y} ⊗ μ_{X_{1}})
I_{φ} (Y,X_{2}) = I_{φ} (μ_{Y,X_{2}} ; μ_{Y} ⊗ μ_{X_{2}})
I_{φ} (X_{1},X_{2}) = I_{φ} (μ_{X_{1},X_{2}} ; μ_{X_{1}} ⊗ μ_{X_{2}})

En vertu de l’inégalité de Jensen, il vient :

∫ φ (\frac{f (y,x_{1},x_{2})}{f_{Y} (y) f_{X_{1}} (x_{1}) f_{X_{2}} (x_{2})}) f_{X_{2}} (x_{2}) dx_{2} = 𝔼^{μ^{X_{2}}} [φ (h (z))] ≥ φ [𝔼^{μ^{X_{2}}} (h (z))]

or :

𝔼^{μ^{X_{2}}} (h (z)) = \frac{f (y,x_{1})}{f_{Y} (y) f_{X_{1}} (x_{1})}

D’où :

I_{φ} (Z) = 𝔼^{μ_{Y} ⊗μ_{X_{1}}} [∫ φ (\frac{f (y,x_{1},x_{2})}{f_{Y} (y) f_{X_{1}} (x_{1}) f_{X_{2}} (x_{2})}) f_{X_{2}} (x_{2}) dx_{2}] ≥ I_{φ} (Y,X_{1})

De même on a :

I_{φ} (Z) ≥ I_{φ} (Y,X_{2})
I_{φ} (Z) ≥ I_{φ} (X)

Enfin il vient également :

I_{φ} (Y,X) = 𝔼^{μ_{Y} ⊗μ_{X_{1},X_{2}}} [φ (\frac{f (y,x)}{f_{Y} (y) f_{X} (x)})]
= 𝔼^{μ_{Y} ⊗μ_{X_{2}}} [𝔼^{μ^{X_{1}|X_{2}}} [φ (\frac{f (y,x)}{f_{Y} (y) f_{X_{2}} (x_{2}) f_{X_{1}|X_{2}} (x_{1} | x_{2})})]]

ce qui, à nouveau en vertu de l’inégalité de Jensen, conduit à :

I_{φ} (Y,X) ≥ sup (I_{φ} (Y,X_{1}) ,I_{φ} (Y,X_{2}))

Ces diverses inégalités suggèrent, en termes d’informations mutuelles, que les influences des variables X_{1}, X_{2} et du couple (X_{1},X_{2}) sur la variable dépendante Y peuvent s’exprimer à l’aide des différences I_{φ} (Z)−I_{φ} (Y,X_{1}), I_{φ} (Z)−I_{φ} (Y,X_{2}) et I_{φ} (Z) − I_{φ} (X).

En effet, il découle de la condition d’égalité de l’inégalité de Jensen dans le cas des fonctions φ strictement convexes, que les différences seront d’autant plus petites que les covariables se rapprocheront de l’indépendance en probabilité avec Y. Autrement dit, si la variable X_{2} est indépendante en probabilité de (Y,X_{1}) alors I_{φ} (Z)−I_{φ} (Y,X_{1}) = 0 et si la variable X_{1} est indépendante en probabilité de (Y,X_{2}) on aura I_{φ} (Z)−I_{φ} (Y,X_{2}) = 0. Cependant ces deux cas n’entraîneront pas nécessairement que I_{φ} (Z) − I_{φ} (X) = 0 puisque X = (X_{1},X_{2}) peut ne pas être indépendant en probabilité de Y. En l’absence d’un choix particulier d’une fonction φ il n’est guère possible de dépasser pour l’instant le cadre de ces généralités. Aussi, dans le but d’obtenir une relation semblable à celle que l’on retrouve en analyse de la variance, (équation d’analyse de la variance), nous considèrerons pour la suite, la fonction φ (t) = tLogt.

7.2 Equations de décomposition de l’information mutuelle

Suivant l’objectif poursuivi et en fonction des tests que l’on entend conduire, il est possible de mettre en évidence plusieurs décompositions de l’information mutuelle entre les variables considérées. Nous présenterons ci-dessous deux telles décompositions.

7.2.1 Décomposition de l’information mutuelle totale sous la forme d’une somme d’entropies

L’information mutuelle entre les variables Y,X_{1} et X_{2} s’exprime alors sous la forme :

I (Z) = I (Y,X_{1},X_{2}) = ∫ Log [\frac{f (y,x_{1},x_{2})}{f_{Y} (y) f_{X_{1}} (x_{1}) f_{X_{2}} (x_{2})}] f (y,x_{1},x_{2}) dydx_{1}dx_{2}
= H (Y) + H (X_{1}) + H (X_{2}) − H (Y,X_{1},X_{2})

où H (·) désigne l’entropie habituelle associée à une mesure de probabilité. De même il vient :

I (Y,X) = ∫ Log [\frac{f (y,x_{1},x_{2})}{f_{Y} (y) f_{X_{1},X_{2}} (x_{1},x_{2})}] f (y,x_{1},x_{2}) dydx_{1}dx_{2}
= H (Y) + H (X_{1},X_{2}) − H (Y,X_{1},X_{2})

ce qui, en vertu de la première égalité, donne :

I (Y,X) = I (Z) − H (X_{1}) − H (X_{2}) + H (X_{1},X_{2})

ou encore :

I (Z) = I (Y,X) + H (X_{1}) + H (X_{2}) − H (X_{1},X_{2})
= I (Y,X) + I (X_{1},X_{2})

On peut donc dire dans le cas présent que l’information mutuelle totale I (Z) est la somme d’une information mutuelle globale I (Y,X) et d’une information mutuelle résiduelle entre les covariables I (X_{1},X_{2}). De plus nous avons :

I (Y,X) = ∫ Log [\frac{f (y,x_{1},x_{2})}{f_{Y} (y) f_{X_{1},X_{2}} (x_{1},x_{2})}] f (y,x_{1},x_{2}) dydx_{1}dx_{2}
= ∫ [−Log (f_{Y} (y)) + Log (f (y | x_{1},x_{2}))] f (y,x_{1},x_{2}) dydx_{1}dx_{2}
= H (Y) + ∫ [∫ Log (f (y | x_{1},x_{2})) f (y | x_{1},x_{2}) dy] f_{X_{1},X_{2}} (x_{1},x_{2}) dx_{1}dx_{2}
= H (Y) − 𝔼^{μ^{X}} (H (Y | x))
= H (Y) − H (Y | X)

On obtient donc les décompositions équivalentes de l’information mutuelle totale suivantes :

I (Z) = I (Y,X) + H (X_{1}) + H (X_{2}) − H (X_{1},X_{2})
= H (Y) + H (X_{1}) + H (X_{2}) − H (Y | X) − H (X_{1},X_{2})

Si les variables X_{1} et X_{2} sont indépendantes en probabilité, on a, en raison du fait que I (X_{1},X_{2}) = 0 :

I (Z) = I (Y,X)

ce qui montre que l’interaction ne se manifeste qu’à travers le lien entre la variable Y et le couple de covariables X = (X_{1},X_{2}). Par ailleurs si le couple (X_{1},X_{2}) est indépendant en probabilité de Y il s’ensuit que I (Y,X) = 0 et donc il vient dans ce cas :

I (Z) = I (X_{1},X_{2})

Dans le cas de trois covariables X = (X_{1},X_{2},X_{3}) nous aurions, en suivant la même démarche que ci-dessus :

I (Z) = I (Y,X) + ∑_{i=1}^{i=3} H (X_{i}) − H (X)
= H (Y) + ∑_{i=1}^{i=3} H (X_{i}) − H (Y | X) − H (X)

A l’aide de l’expression de H (X) = H (X_{1},X_{2},X_{3}) donnée par :

H (X_{1},X_{2},X_{3}) = − ∫ Log [f (x_{1},x_{2},x_{3})] f (x_{1},x_{2},x_{3}) dx_{1}dx_{2}dx_{3}

on voit qu’il est possible de faire apparaître les interactions entre les covariables en utilisant les décompositions équivalentes de H (X_{1},X_{2},X_{3}) suivantes :

H (X_{1},X_{2},X_{3}) = H (X_{1},X_{2} | X_{3}) + H (X_{3})
= H (X_{1},X_{3} | X_{2}) + H (X_{2})
= H (X_{2},X_{3} | X_{1}) + H (X_{1})

Remarque : Dans la pratique on dispose fréquemment, pour des raisons diverses, les données sous forme de classes ou de modalités (par exemple des classes de tailles et des classes de poids) sur lesquelles on mesure une variable dépendante Y. On notera alors à ce propos que l’égalité I (Z) = I (Y,X) + I (X_{1},X_{2}) met clairement en évidence le fait que si l’on désire effectuer un codage des variables aléatoires X_{1} et X_{2}, il est important, en regard de l’information mutuelle totale, de tenir compte lors de cette opération de l’information mutuelle entre les covariables (on trouvera une illustration de cette technique de codage dans Colin, Vaillant et Troupé [11]). Les différentes hypothèses concernant les liens entre les covariables X_{1},X_{2} et la variable dépendante Y se traduisent alors par :

H_{0} : Si X_{1} et Y sont indépendantes alors I (Z) = H (X_{2}) − H (X_{2} | X_{1},Y)
H_{0} : Si X_{2} et Y sont indépendantes alors I (Z) = H (X_{1}) − H (X_{1} | X_{2},Y)
H_{0} : Si (X_{1},X_{2}) et Y sont indépendants alors I (Z) = I (X_{1},X_{2})

7.2.2 Décomposition de l’information mutuelle totale sous la forme d’une somme d’informations mutuelles

Le quotient

\frac{f (y,x_{1},x_{2})}{f_{Y} (y) f_{X_{1}} (x_{1}) f_{X_{2}} (x_{2})}

pouvant s’écrire sous la forme :

\frac{f (y,x_{1})}{f_{Y} (y) f_{X_{1}} (x_{1})} × \frac{f (y,x_{2})}{f_{Y} (y) f_{X_{2}} (x_{2})} × \frac{f_{Y} (y) f (y,x_{1},x_{2})}{f (y,x_{1}) f (y,x_{2})}

ou encore :

\frac{f (y,x_{1})}{f_{Y} (y) f_{X_{1}} (x_{1})} × \frac{f (y,x_{2})}{f_{Y} (y) f_{X_{2}} (x_{2})} × \frac{f (x_{1},x_{2} | y)}{f (x_{1} | y) f (x_{2} | y)}

il s’ensuit que :

I (Z) = I (Y,X_{1}) + I (Y,X_{2}) + I (X | Y)

où X désigne, comme précedemment, le couple (X_{1},X_{2}). Exprimée sous la forme précédente, on remarque que l’information mutuelle totale est la somme des informations mutuelles individuelles (dues aux variables X_{1} et X_{2} prises séparément) et d’une information mutuelle d’interaction (due à l’influence du lien entre les covariables X_{1} et X_{2} sur la variable dépendante Y). Dans le cas de trois covariables X_{1},X_{2} et X_{3} on vérifie aisément, en suivant la même démarche que dans le cas précédent, que :

I (Z) = I (Y,X_{1}) + I (Y,X_{2}) + I (Y,X_{3}) + I (X | Y)

Le dernier terme du membre de droite de cette relation peut à son tour, en considérant la loi conditionnelle de X = (X_{1},X_{2},X_{3}) étant donnée Y, se décomposer soit sous la forme :

I (X | Y) = I (X_{1},X_{2} | Y) + I (X_{1},X_{3} | Y) + I (X_{2},X_{3} | X_{1},Y)

soit sous la forme :

I (X | Y) = I (X_{2},X_{1} | Y) + I (X_{2},X_{3} | Y) + I (X_{1},X_{3} | X_{2},Y)

ou enfin sous la forme :

I (X | Y) = I (X_{3},X_{1} | Y) + I (X_{3},X_{2} | Y) + I (X_{1},X_{2} | X_{3},Y)

Dans le cas de deux covariables, les différentes hypothèses se traduisent sous les formes suivantes :

H_{0} : Si X_{1} et Y sont indépendantes alors I (Z) = I (Y,X_{2}) + I (X | Y)
H_{0} : Si X_{2} et Y sont indépendantes alors I (Z) = I (Y,X_{1}) + I (X | Y)
H_{0} : Si (X_{1},X_{2}) et Y sont indépendants alors I (Z) = I (X_{1},X_{2})

7.3 Analyse

On considère n observations indépendantes du vecteur aléatoire Z = (Y,X_{1},X_{2}) où X_{1} et X_{2} sont deux variables possédant respectivement I et J modalités notées (x_{1i}) i = 1, 2,..., I et (x_{2j}) j = 1, 2,..., J (variables qualitatives ou données classées). L’équation de décomposition de l’information mutuelle totale donne, à l’aide des notations usuelles :

I (Z) = I (Y,X) + I (X_{1},X_{2})
= I (Y,X) + H (X_{1}) + H (X_{2}) − H (X_{1},X_{2})
= − ∑_{i} p_{i·}Log (p_{i·}) − ∑_{j} p_{·j}Log (p_{·j}) + ∑_{i,j} p_{i,j}Log (p_{i,j})
+H (Y) − H (Y | X)

Il faut alors estimer chacune de ces quantités à l’aide des observations (Y,X_{1},X_{2})_{k} k = 1, 2,..., n.

A cette fin, on peut utiliser essentiellement les approches suivantes :

i) Les méthodes reposant sur la considération d’histogrammes, ii) Les méthodes reposant sur la considération de noyaux, iii) Les méthodes paramétriques.

En ce qui concerne les deux premières approches, on pourra consulter, entre autres, les travaux de Moddemeijer[30][31], Vasicek[44], Vaillant, Troupé, Manuceau et Lánska[43], Ebrahimi, Habibullah et Soofi[19] dans le premier cas et ceux de Ahmad et Lin[5], Dmitriev et Tarasenko[17], Parzen[33], Rosenblatt[37], Schuster[38], Moon, Rajagopalan et Lall[32], Bhattacharya[6], Mars et van-Arragon[28]dans le second cas.

En raison du fait que l’on traite dans ce cas particulier de lois mixtes (les composantes X_{1} et X_{2} sont discrètes alors que la composante Y est continue), nous considèrerons les estimateurs déduits de l’approche i).

De ce choix, découlent les conséquences suivantes : Désignons par n_{ij} le nombre d’observations pour lesquelles X_{1} = x_{1i} et X_{2} = x_{2j}. En utilisant les conventions usuelles d’écriture, les estimateurs p̂_{ij}, p̂_{i·} et p̂_{·j} des probabilités p_{ij}, p_{i·} et p_{·j} sont alors donnés respectivement par :

p̂_{ij} = \frac{n_{ij}}{n} ; p̂_{i·} = \frac{n_{i·}}{n} ; p̂_{·j} = \frac{n_{·j}}{n}

Il s’ensuit que les estimateurs Ĥ (X_{1}) , Ĥ (X_{2}) et Ĥ (X_{1},X_{2}) de H (X_{1}) ,H (X_{2}) et H (X_{1},X_{2}) seront donnés respectivement par :

Ĥ (X_{1}) = − ∑_{i} p̂_{i·}Log \binom{}{p_{i·}}

Ĥ (X_{2}) = − ∑_{j} p̂_{·j}Log \binom{}{p_{·j}}
Ĥ (X_{1},X_{2}) = − ∑_{i,j} p̂_{i,j}Log \binom{}{p_{i,j}}

Quant à l’estimateur Î (Y,X) de I (Y,X) on peut soit estimer H (Y) et H (Y | X) soit estimer directement I (Y,X) de la façon suivante :

Après avoir réalisé une partition du domaine de la variable Y en un nombre donné de classes Y_{1},Y_{2},...,Y_{L} et en désignant par n_{lij} le nombre d’observations telles que :

Y = Y_{l} ; X_{1} = x_{1i} et X_{2} = x_{2j}

il vient :

Î (Y,X) = ∑_{l} ∑_{(ij)} p̂_{lij}Log (\frac{p̂_{lij}}{p̂_{l··}p̂_{·ij}} )

Le fait que les estimateurs précédents admettent en général des lois fort complexes, le plus souvent inexploitables sur le plan pratique à distance finie et que de surcroît, ces mêmes estimateurs sont biaisés, il convient dans l’éventualité où l’on désire conduire des tests d’hypothèses, de se placer dans le cadre asymptotique, c’est-à-dire lorsque n est grand (ou peut-être considéré comme tel!). On sait alors que dans ce cas, les différents estimateurs introduits ci-dessus sont asymptotiquement normaux , sans biais et convergents. Cependant la variance asymptotique est en général impossible à calculer et l’on doit alors recourir à une estimation de cette dernière.

Si les conditions énoncées ci-dessus sont remplies (n grand, estimation de la variance de la loi asymptotique) il est possible d’effectuer les tests suivants :

H_{0} : X_{1} n′a pas d′influence sur Y

De la relation I (Z) = I (Y,X_{1}) + I (Y,X_{2}) + I (X | Y) il découle que :

Î (Y,X_{1}) = Î (Z) − Î (Y,X_{2}) − Î (X | Y) ⇝ AN (I (Y,X_{1}) ,σ_{1}^{2})

où σ_{1}^{2} est une valeur, en générale inconnue, que l’on doit estimer. Si l’hypothèse H_{0} est vraie alors Î (Y,X_{1}) ⇝ AN (0,σ_{1}^{2}). De même, en ce qui concerne l’hypothèse :

H_{0} : X_{2} n′a pas d′influence sur Y

nous aurons :

Î (Y,X_{2}) = Î (Z) − Î (Y,X_{1}) − Î (X | Y) ⇝ AN (I (Y,X_{2}) ,σ_{2}^{2})

et donc si l’hypothèse H_{0} est vraie alors Î (Y,X_{2}) ⇝ AN (0,σ_{2}^{2}) où σ_{2}^{2}, variance de la loi asymptotique, est en général inconnue et doit être estimée. Enfin l’interaction, mise en évidence par la quantité I (X | Y), peut également conduire à un test d’hypothèse concernant la non influence d’une interaction d’ordre 2, en considérant l’expression :

Î (X | Y) = Î (Z) − Î (Y,X_{1}) − Î (Y,X_{2}) − Î (X | Y) ⇝ AN (I (X | Y) ,σ_{1,2}^{2})

En résumé, les tests proposés ci-dessus se ramèment à des tests (asymptotiques) d’indépendance entre les variables aléatoires Y et X_{1}, Y et X_{2} et entre Y et X = (X_{1},X_{2}). Il est clair que la qualité des tests ainsi construits dépendront, en grande partie de la qualité des estimateurs des informations mutuelles (ou des entropies) et donc, par voie de conséquence, des estimateurs des densités de probabilité et de la taille de l’échantillon. Enfin, la décomposition de l’information mutuelle en des “effets du premier ordre” et d’une “interaction”(ou “effet du second ordre”) découle du choix de la fonction φ (t) = tLogt, ce qui atténue bien évidemment la portée pratique d’une telle approche puisque, en particulier, on ne dispose pas d’une telle décomposition dans le cas, par exemple, des métriques du χ^{2} et de Hellinger.

8 Notion de composantes essentielles d’un vecteur aléatoire

Nous nous proposons, dans ce paragraphe, de faire une brève incursion dans le domaine de l’analyse des données en introduisant la notion de “composantes essentielles” d’un vecteur aléatoire de ℝ^{k}.

Soient n observations d’un vecteur aléatoire X = ^{t} (X_{1},X_{2},...,X_{k}) de ℝ^{k} et dont on supposera que la densité f (x_{1},x_{2},...,x_{k}) est connue ou estimée. En analyse des données, se pose fréquemment le problème de la réduction de la dimension de l’espace de représentation à des fins diverses (simplification, description des données, compréhension essentielle du phénomène observé ou étudié, classification des observations, segmentation, etc...).

Les approches usuelles visant à résoudre ce type de problème, font usage d’outils de nature morphologique, c’est-à-dire d’outils adaptés à l’étude de la forme de nuages de points (les observations) dans des espaces de grandes dimensions et ce, sans égard à la nature du lien probabiliste entre les variables aléatoires concernées (à l’exeption toutefois des domaines, assez complexes cependant, de l’estimation et des tests d’hypothèses). Dans ce contexte, le recours à diverses métriques permettant de caractériser les proximités entre les différents points est tout à fait légitime comme l’est, d’ailleurs, le principe de la recherche des sous-espaces optimaux de représentation. Il n’est pas dans notre propos de remettre en cause, loin de là, cette approche, mais plutôt d’explorer la possibilité d’exploiter, à des fins identiques, la nature des liens probabilistes qui unissent entre elles les composantes du vecteur aléatoire X.

Supposons que pour le vecteur aléatoire X considéré, l’on ait fait choix d’une fonction φ permettant de mesurer l’information mutuelle I_{φ} (X_{1},X_{2},...,X_{k}) entre les composantes de X (si cette dernière est une métrique, on retrouvera l’approche classique, puisque l’inertie d’un nuage de points peut être vue comme une information mutuelle particulière; voir à ce sujet Colin[10]) et considérons l’opérateur de projection P_{i} de ℝ^{k} dans ℝ^{k−1} défini par :

P_{i} (X) = P_{i} (X_{1},X_{2},...,X_{i},...,X_{k}) = (X_{1},X_{2},...,X_{i−1},X_{i+1},...,X_{k})

On sait alors que pour tout i = 1, 2,..., k on a :

I_{φ} (X_{1},X_{2},...,X_{k}) ≥ I_{φ} (P_{i} (X_{1},X_{2},...,X_{i},...,X_{k}))

soit encore, en simplifiant les notations :

I_{φ} (X) − I_{φ} (P_{i} (X)) ≥ 0 ∀ i = 1,2,...,k

On dira alors que la composante X_{i} est non − essentielle (on entend par là au sens du lien probabiliste entre les composantes de X) si :

I_{φ} (X) − I_{φ} (P_{i} (X)) = inf_{j=1,2,...,k} (I_{φ} (X) − I_{φ} (P_{j} (X)))

On remarquera que si X_{i} est une composante de X indépendante des k−1 autres composantes, alors I_{φ} (X) = I_{φ} (P_{i} (X)) et donc I_{φ} (X) − I_{φ} (P_{i} (X)) = 0. Il découle de cette observation que plus la différence I_{φ} (X) − I_{φ} (P_{i} (X)) est petite, plus le lien probabiliste entre X_{i} et les autres composantes de X est faible et moins, d’une certaine manière, la variable X_{i} est essentielle en termes de contribution à l’information mutuelle entre les composantes de X. On peut donc, sur cette base, ignorer la variable X_{i} et ne retenir, pour les besoins de l’analyse et de la modélisation, que les k − 1 composantes restantes X_{1}, X_{2},..., X_{i−1}, X_{i+1},..., X_{k}.

Bien entendu il est possible à ce stade de répéter, en considérant l’expression de I_{φ} (P_{i} (X)), l’opération effectuée à l’étape précédente afin d’éliminer une autre variable non − essentielle et ainsi, de pas en pas, arriver à ne retenir, à l’aide d’un critère qui reste à définir (mais qui pourrait être, par exemple, un pourcentage donné de l’information mutuelle initiale, taux relatif de variation, variation soudaine de l’information mutuelle résiduelle...), les variables essentielles à la compréhension du phénomène. Il est clair que, telle que décrite, la procédure n’assure pas d’un choix optimal à chaque pas. Pour ce faire, il faudrait à partir du pas numéro deux, sélectionner le sous-ensemble de 2 variables puis de 3 variables, pour le pas numéro trois et ainsi de suite, satisfaisant au principe d’optimisation. En d’autres termes si, à titre illustratif, nous considérons le pas numéro deux, alors le couple optimal (X_{i},X_{j}) sera donné, en posant :

P_{i,j} (X) = P_{j} ∘ P_{i} (X)

par :

I_{φ} (X) − I_{φ} (P_{i,j} (X)) = inf_{(i,j):i≠j=1,2,...,k} (I_{φ} (X) − I_{φ} (P_{j} ∘ P_{i} (X)))

Mais ceci est un problème que l’on rencontre fréquemment en analyse des données (analyse discriminante, classification,...) et suivant la complexité de l’algorithme d’optimisation et le temps de calcul, on peut adopter une procédure ne remettant pas en cause le choix effectué à l’étape précédente. Cette procédure de type “backward”, permet donc la construction d’une hiérarchie ascendante des composantes du vecteur aléatoire X.

De la même manière, on peut mettre en place une procédure de sélection des composantes de X, de type “forward”, en sélectionnant au premier pas la composante X_{i} telle que :

I_{φ} (X) − I_{φ} (P_{i} (X)) = sup_{j=1,2,...,k} (I_{φ} (X) − I_{φ} (P_{j} (X)))

Plus cette différence sera grande, et plus la composante X_{i} contribuera de façon importante à la valeur de I_{φ} (X). En ce sens, on est en droit d’affirmer que la composante X_{i} est essentielle à la compréhension du phénomène étudié. A partir du pas numéro deux, on pourra adopter l’une des deux stratégies de sélection des composantes, suivant que l’on remet ou non en cause le choix effectué au pas précédent, et procéder ainsi de pas en pas jusqu’à l’obtention d’un nombre “raisonnable” de composantes, nombre d’ailleurs que l’on peut se fixer au départ. La dimension de l’espace de départ étant ainsi réduite, on peut par la suite, à l’aide d’un faible nombre de variables qui conservent leur sens naturel, procéder à d’autres analyses de données.

Mentionnons que, de façon plus générale, on pourrait s’intéresser à des transformations de ℝ^{k} dans ℝ^{k} données par :

y = h (x) = {h_{l} (x_{1},x_{2},...,x_{k})} l = 1, 2,..., k

Si l’on désigne par H la matrice des dérivées partielles (∂y_{i}⧸∂x_{j}) i, j = 1, 2,..., k, il vient, en effectuant le changement de variables y = h (x) dans l’intégrale correspondante à I_{φ} (X) :

I_{φ} (X) = ∫ φ (\frac{f (x_{1},x_{2},...,x_{k})}{∏_{i=1}^{i=k} f_{X_{i}} (x_{i})}) ∏_{i=1}^{i=k} f_{X_{i}} (x_{i}) dx_{1}dx_{2}...dx_{k}

= ∫ φ (\frac{f (h_{1}^{−1} (y) ,h_{2}^{−1} (y) ,...,h_{k}^{−1} (y))}{∏_{i=1}^{i=k} f_{X_{i}} (h_{i}^{−1} (y))})
× ∏_{i=1}^{i=k} f_{X_{i}} (h_{i}^{−1} (y)) |det H^{−1}| dy_{1}dy_{2}...dy_{k}

= ∫ φ (\frac{f (h_{1}^{−1} (y) ,h_{2}^{−1} (y) ,...,h_{k}^{−1} (y)) |det H^{−1}|}{∏_{i=1}^{i=k} f_{X_{i}} (h_{i}^{−1} (y)) |det H^{−1}|})
× ∏_{i=1}^{i=k} f_{X_{i}} (h_{i}^{−1} (y)) |det H^{−1}| dy_{1}dy_{2}...dy_{k}

Or f (h_{1}^{−1} (y) ,h_{2}^{−1} (y) ,...,h_{k}^{−1} (y)) |det H^{−1}| n’est autre que la densité de probabilité g (y_{1},y_{2},...,y_{k}) du vecteur aléatoire Y. Nous aurons alors I_{φ} (X) = I_{φ} (Y) si :

∏_{i=1}^{i=k} f_{X_{i}} (h_{i}^{−1} (y)) |det H^{−1}| = ∏_{i=1}^{i=k} g_{Y_{i}} (y_{i})

En particulier, comme il est aisé de le vérifier, toutes transformations de la forme :

y_{i} = h_{i} (x_{i}) i = 1,2,...,k

pour lesquelles les fonctions h_{i} sont, pour tout i, injectives (comme c’est le cas de la transformation de f (x_{1},x_{2},...,x_{k}) sous la forme d’une copule), conservent l’information mutuelle. Cette approche peut donner lieu à certaines simplifications comme, par exemple, dans le cas de la loi normale, où l’on pourra se restreindre uniquement à la strucure des corrélations entre les composantes du vecteur aléatoire X.

Enfin, toujours dans la perspective d’une réduction de la dimension, il est possible (au moins en théorie!) d’aborder le problème de la façon suivante : soient m (m ≤ k) variables y_{1},y_{2},...,y_{m} définies par :

y_{1} = u_{1} (x_{1},x_{2},...,x_{k})
y_{2} = u_{2} (x_{1},x_{2},...,x_{k})
⋮
y_{m} = u_{m} (x_{1},x_{2},...,x_{k})

Posant alors y = ^{t} (y_{1},y_{2},...,y_{m}), on sait que I_{φ} (X) − I_{φ} (Y) ≥ 0 quelles que soient les fonctions u_{1},u_{2},...,u_{m} de ℝ^{k} dans ℝ. L’idée consiste alors, en se restreignant à une famille de transformations simples (par exemple des transformations linéaires), à déterminer, pour des valeurs de m ≤ k les transformations u_{1},u_{2},...,u_{m} qui rendent minimum la différence :

I_{φ} (X) − I_{φ} (u_{1} (X) ,u_{2} (X) ,...,u_{m} (X))

A titre d’illustration, choisissons φ (t) = tLogt et considérons une loi normale N (0,Σ) de ℝ^{3}, où Σ = R est la matrice des corrélations donnée par :

R = [ \begin{matrix}1 & ρ_{12} & ρ_{13} \\ ρ_{12} & 1 & ρ_{23} \\ ρ_{13} & ρ_{23} & 1 \end{matrix} ]

Posons alors Y = AX où A est une matrice de la forme :

A = [ \begin{matrix}a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \end{matrix} ]

Il s’ensuit que Y ∼ N (0,AR^{t}A). Il vient alors :

I_{φ,R} (X) = \frac{1}{2}Log (\frac{∏_{i=1}^{i=3} σ_{X_{i}}^{2}}{det R} ) = \frac{1}{2}Log ((det R)^{−1})

I_{φ,AR^{t}A} (Y) = \frac{1}{2}Log (\frac{σ_{Y_{1}}^{2}σ_{Y_{2}}^{2}}{det AR^{t}A})

et par conséquent I_{φ} (X) − I_{φ} (Y) a dans ce cas pour expression :

I_{φ,R} (X) − I_{φ,AR^{t}A} (Y) = \frac{1}{2}Log ((det R)^{−1}) − \frac{1}{2}Log (\frac{σ_{Y_{1}}^{2}σ_{Y_{2}}^{2}}{det AR^{t}A})
= \frac{1}{2}Log (\frac{det AR^{t}A}{σ_{Y_{1}}^{2}σ_{Y_{2}}^{2} det R})

La quantité det R ne dépendant pas des coefficients a_{ij} i = 1, 2 j = 1, 2, 3 et la fonction logarithme étant monotone croissante, le problème se résume à déterminer les coefficients de la matrice A de sorte que la quantité

\frac{det AR^{t}A}{σ_{Y_{1}}^{2}σ_{Y_{2}}^{2}} = (1 − ρ_{Y_{1}Y_{2}}^{2})

soit la plus petite possible.

Tel que formulé, le problème admet une solution triviale donnée par a_{1j} = ±a_{2j} ∀ j = 1, 2, 3 ce qui ne présente aucun intérêt dans le cas présent. Il faut donc imposer, avec l’arbitraire que cela implique, une structure particulière à la matrice A afin de déterminer une ou plusieurs solutions non triviales. Dans le cas où la matrice A est une matrice carrée de format k × k on a alors :

Y = AX ∼ N (0,AR^{t}A)

et I_{φ,R} (X) − I_{φ,AR^{t}A} (Y) a alors pour expression :

I_{φ,R} (X) − I_{φ,AR^{t}A} (Y) = \frac{1}{2}Log [\frac{∏_{i=1}^{i=k} σ_{X_{i}}^{2} det AR^{t}A}{∏_{i=1}^{i=k} σ_{Y_{i}}^{2} det R}]

On constate de nouveau que cette différence est nulle pour la classe des matrices diagonales régulières et l’on doit imposer une certaine structure à la matrice A afin d’obtenir des solutions non dégénérées. On notera que dans le cas de la loi normale, l’analyse en composantes principales, qui consiste à remplacer les variables initiales X_{1}, X_{2},..., X_{k} par de nouvelles variables Y_{1}, Y_{2},..., Y_{k}, combinaisons linéaires des anciennes et non corrélées deux à deux, conduit à I_{φ} (Y) = 0 et ce quelle que soit la fonction φ choisie.

9 Conclusion

Dans ce rapport, nous nous sommes intéressés au concept de divergence entre mesures de probabilité pour considérer et mettre en avant des outils statistiques permettant d’extraire de façon pertinente des informations à partir de jeux de données de grande taille. L’apport de ces outils en codage optimal, classification et étude d’interactions est également souligné. Le positionnement par rapport à la théorie de l’information est précisé à travers les références à divers travaux théoriques et appliqués. Par ailleurs, la notion de composantes essentielles d’un vecteur aléatoire est introduite afin d’aborder les problèmes de réduction de dimension. Quelques voies de recherche sont indiquées : estimation optimale de la divergence généralisée par noyaux dans le cas de données brutes (par opposition aux données classées ou agrégées), typologie de processus marqués à mémoire, étude des stratégies d’agrégation et construction d’algorithmes de classification.

Références

[1] D.I. Abarbanel. N. Masuda, M.I. Rabinovich and E. Tumer, Distribution of mutual information, Physics Letters, A 281 (2001), 368-373.

[2] J. Aczél and Z. Daróczy, On measures of information and their characterizations, Academic Press New York, (1975).

[3] B.P. Adhikari and D.D. Joshi, Distance Discrimination et Résumé exhaustif, Publications de l’Institut de Statistique de l’Université de Paris, 5 (1956), 57-74.

[4] S.M Ali and S.D Silvey, A general class of coefficients of divergence of one distribution from another, J.Roy.Statist.Soc., B.28 (1966), 131-142.

[5] I.A. Ahmad and P.I. Lin, A Nonparametric Estimation of the Entropy for Absolutely Continuous Distributions, IEEE Transactions on Information Theory, Vol IT-22, Number 3 (1976), 372-375.

[6] P.K. Bhattacharya, Estimation of a probability density function and its derivatives, Sankhya, Ser. A 29 (1967), 373-382.

[7] J.E. Beasley, An algorithm for set covering problems, European Journal of Operational Research, vol.31 (1987), 85-93.

[8] D. Bosq et J.P Lecoutre, Théorie de l’estimation fonctionnelle, Economica (1987).

[9] N.N. Čencov, Statistical Decisions Rules and Optimal Inference, American Mathematical Society, Translations of Mathematical Monographs, Vol 53 (1982).

[10] B. Colin, Sur la reconstitution optimale des données, Cahiers du CERO, Vol 37 (1995), 65-95.

[11] B. Colin, J. Vaillant et M. Troupé, Optimal coding and interaction study, XIVe SIMMAC (Simposio Internacional de Métodos Matemáticos Aplicados a las Ciencias), San José, Costa Rica (2004).

[12] I. Csiszár, Information-type measures of difference of probability distributions and indirect observations, Studia Scientiarum Mathematicarum Hungarica, 2 (1967), 299-318.

[13] I. Csiszár, A class of measures of informativity of observation channels, Periodica Mathematica Hungarica, Vol 2 (1-4) (1972), 191-213.

[14] I. Csiszár, Information measures : A critical survey, Transaction of the seventh Prague Conference on Information theory Statistical Decision functions Random Processes. Publishing House of the Czechoslovak Academy of Sciences, Vol A Prague (1977), 73-86.

[15] G.A. Darbellay, An estimator of the mutual information based on criterion for independance, Computational Statistics & Data Analysis, 32 (1999), 1-17.

[16] L. Devroye and G.Lugosi, Combinatorial methods in density estimation, Springer Series in Statistics, Springer-Verlag, New York (2001).

[17] Y.G. Dimitriev and F.P. Tarasenko, On the estimation of functionals of the probability density and its derivatives, Theory of Probabilty and its Applications (Siam), Vol 18 No.3 (1973), 628-633.

[18] R.L. Dobrushin, General formulation of Shannon’s main theorem in information theory, Amer. Math. Soc Transl. (2), Vol 33 (1963), 323-438.

[19] N. Ebrahimi, M. Habibullah and E.S. Soofi, Testing Exponentiality Based on Kullback-Leibler Information, J.Roy.Statist.Soc., B.54 (1992), 739-748.

[20] M. Fréchet, Sur les tableaux de corrélation dont les marges sont données, Ann. Univ. Lyon, Sér3, 14 (1951), 53-77.

[21] M.K. Gavurin, On the value of Information, Vestuik Leningrad University Series, 4 (1963), 27-34. Translation (1968), Selected Translations in Mathematical Statistics and Probability ,7 (1968), 193-202.

[22] S.G. Ghurye, Information and sufficient sub-fields, The Annals of Mathematical Statistics, Vol 38 no. 6 (1968), 2056-2066.

[23] P.K. Goël, Information measures and Bayesian Hierarcichal Models, Departement of Statistics, Purdue University, West Lafayette, Technical Report, # 81-41 (1981).

[24] C.M. Gruner, Mutual information calculation using empirical classification, Neurocomputing, 44-46 (2002), 1083-1088.

[25] N. Jardine and R. Sibson, Mathematical Taxonomy, Wiley, New York (1971).

[26] E.L. Lehmann, Theory of point estimation, Wadsworth & Brooks, (1991).

[27] K.V. Mardia, J.T. Kent and J.M. Bibby, Multivariate Analysis, Academic Press Second Printing, (1980).

[28] N.J.I. Mars and G.W. van Arragon, Time delay estimation in non-linear systems using average amount of mutual information analysis, Signal Processing, 4 (1982), 139-153.

[29] R.J. McEliece, The theory of information coding, Encyclopedia of mathematics and its applications, Addison Wesley, (1977).

[30] R. Moddemeijer, A statistic to estimate the variance of the histogram-based mutual information estimator based on dependent pairrs of observations, Signal Processing, 75 (1999), 51-63.

[31] R. Moddemeijer, On estimation of entropy and mutual information of continuous distributions, Signal Processing, 16 (1989), 233-248.

[32] Y.I. Moon, B. Rajagopalan and U. Lall, Estimation of mutual information using kernel density estimators, Physical Review E, Vol 52 Number 3 (1995), 2318-2321.

[33] E. Parzen, On estimation of probability density function and mode, The Annals of Mathematical Statistics, Vol 33 (1962), 1065-1076.

[34] M.S. Pinsker, Information and information stability of random variables and processes, Holden-Day, (1964).

[35] C.R. Rao, Diversity cand Dissimilarity Coefficients, Institute for Statistics and Applications, Department of Mathematics and Statistics, Technical Report, # 80-10 (1980).

[36] A. Rényi, On measures of entropy and information, Proceedings of the Fourth Berkeley Symposium of Mathematical Statistics and Probability, Vol 1 (1961), Berkeley : University of California Press, 547-561.

[37] M. Rosenblatt, Remarks on some nonparametric estimates of a density function, The Annals of Mathematical Statistics, Vol 27 (1956), 832-837.

[38] E.F. Schuster, Estimation of a probability density function and its derivatives, The Annals of Mathematical Statistics, Vol 40 No 4 (1969), 832-837.

[39] R.J. Serfling, Approximation Theorems of Mathematical Statistics, Wiley, New York (1980).

[40] R. Sibson, Information radius, Z. Wahrsch’theorie & verw. Geb., 14 (1969), 149-160.

[41] A. Sklar, Fonctions de répartition à n dimensions et leurs marges, Publ. Inst. Statist. Univ. Paris, 8 (1959), 229-231.

[42] J.S. de Tibeiro, Information et analyse des données, Thèse de Doctorat, Département de Mathématiques et d’Informatique, Université de Sherbrooke (Québec), Canada, (1993).

[43] J. Vaillant, M. Troupé, J. Manuceau et V. Lánska, Nonparametric Selection Method of Survival Predictors with an Application to Breast Cancer, Methods of Information in Medecine, 40 (2001), 12-17.

[44] O. Vasicek, A Test for Normality Based on Sample Entropy, J.Roy.Statist.Soc., B.38 No.1 (1976), 54-59.

[45] R. von Mises, On the asymptotic distribution of differentiable statistical functions, Ann. Math. Statist., 18 (1947), 309-348.

[46] J. Zakai and M. Ziv, On functionnals satisfying a data-processing theorem, IEEE Transactions, IT-19 (1973), 275-282.

Bernard Colin Département de Mathématiques Université de Sherbrooke Sherbrooke J1K-2R1 (Québec) Canada courriel : bernard.colin@usherbrooke.ca

Marylène Troupé Département de Mathématiques et d’Informatique Université des Antilles-Guyane Pointe-à-Pitre Guadeloupe courriel : marylene.troupe@univ-ag.fr

Jean Vaillant Département de Mathématiques et d’Informatique Université des Antilles-Guyane Pointe-à-Pitre Guadeloupe courriel : jean.vaillant@univ-ag.fr