Gestes de main sensibles à l’objet tenu pour les interactions en réalité mixte. Présenté par Richard Nguyen

Description :

Résumé :  Ce projet de thèse explore la conception de nouvelles interactions manuelles en réalité mixte pour des contextes d'assistance à la tâche où l'utilisateur manipule déjà des objets physiques. Pour enrichir le vocabulaire gestuel limité des casques actuels, la recherche s'attaque à deux verrous majeurs : l'un théorique, portant sur la méthodologie de conception et d'évaluation de ces gestes situés en situation multitâche, et l'autre pratique, lié à l'implémentation d'un système de reconnaissance robuste malgré les limites des capteurs et le manque de données spécialisées. En réponse au défi théorique, une démarche de co-conception (méthode Charette) a mené à l'élaboration d'un modèle descriptif à quatorze critères, permettant aux concepteurs d'évaluer les gestes selon l'interférence instrumentale et la compétition des ressources cognitives. Sur le plan pratique, le projet surmonte la rareté des données en exploitant le transfert d'apprentissage de modèles vidéo de fondation basé sur le modèle VideoMAE, en adaptant le domaine à l'aide de la méthode de Parameter Efficient Finetuning (PEFT) LoRA et optimisant l'apprentissage à l'aide de la combinaison de méthodes de Sharpness Aware Minimization (SAM). Les modèles ont été entraînés vers les modalités spécifiques de la réalité mixte (nuances de gris et profondeur), démontrant le potentiel de l’utilisation conjointe de méthode d’ajustement fin efficient en paramètres et d’un optimisateur sensible à l’acuité. Les résultats étudient également la complémentarité multimodale des capteurs pour optimiser la reconnaissance gestuelle.

Membre du Jury :

- Directeur : professeur Charles Gouin-Vallerand, Département SIMQG et informatique, Université de Sherbrooke
- Président-rapporteur : professeur Michael Blondin,  Département d’informatique, Université de Sherbrooke
- Membre interne : professeur Toby Dylan Hocking, , Département d’informatique, Université de Sherbrooke
- Membre externe : professeur Pascal E. Fortin, , Département d’informatique et de mathématique Université du Québec à Chicoutimi