Les knowledge matrices, une nouvelle façon de voir les réseaux de neurones

Description :

SÉMINAIRE DE MAÎTRISE


Conférencier : Jérémy Gagnon

Résumé : L’intelligence artificielle est un sujet dont on entend beaucoup parler de nos jours. On la retrouve partout, que ce soit ChatGPT, Copilot, Grok, etc. Cependant, ce qui se cache derrière ces IA, ce sont des réseaux de neurones. Il en existe plusieurs types, comme les Multi-Layer Perceptrons (MLP), les réseaux de convolution (CNN) et les transformers.
Plusieurs chercheurs ont tenté — et tentent encore — d’appliquer des théories mathématiques aux réseaux de neurones afin de mieux les comprendre. Une théorie intéressante qui a été utilisée par le passé pour analyser ces réseaux est la théorie de la persistance. En effet, il est possible de considérer les outputs d’un réseau comme un ensemble de données, puis d’appliquer les grandes étapes de cette théorie. Le but est alors d’observer la forme que prennent ces outputs dans l’espace.

Pourquoi cela importe-t-il ? Dans un contexte de classification, cela permettrait en théorie d’observer la structure des différentes classes, que ce soit à travers le calcul de H0 ou via les diagrammes de persistance. Cependant, en pratique, ce n’est pas aussi simple : certains clusters sont trop proches les uns des autres, ce qui rend leur analyse difficile.

C’est pour cette raison que je vais introduire aujourd’hui les knowledge matrices. Il existe une matrice de knowledge associée à chaque input du réseau de neurones, ce qui nous permet de les utiliser elles aussi comme ensemble de données pour appliquer la théorie de la persistance. Pourquoi faire cela ? Parce qu’un résultat théorique de Samuel Leblanc et Marco Armenta affirme que la norme infinie entre deux de ces matrices est plus grande que la norme infinie entre leurs équivalents du côté output. Cela signifie donc que les points sont davantage espacés dans l’espace, ce qui facilite l’analyse à l’aide de certains outils de visualisation.

Bref, nous verrons aujourd’hui comment obtenir ces knowledge matrices et en quoi elles permettent une meilleure analyse topologique des réseaux de neurones.