This article presents PMF-Vision, a digital assistant for manual assembly based on the concept of augmented reality information projected on the workspace. This digital assistant aims at assisting operators with mild mental deficiencies in their assembly tasks by tracking their actions in real-time. In this research, we analyzed hand tracking algorithms based on the latest deep learning techniques and highlighted the best candidate for our context in terms of accuracy and processing time. We present different interaction concepts for the system and propose to evaluate two visualisation concepts to assist the operator during component placement. The results of the exploratory study (N=6) highlighted the excellent usability of the system and the interest, expressed by the target population, to use such tools in their daily tasks.

Cet article présente PMF-Vision, un assistant digital d’aide au montage manuel basé sur le concept de projection d’informations en réalité augmentée sur l’espace de travail. Cet assistant digital vise à assister des opérateurs en situation de handicap mental dans leurs tâches de montage en suivant leurs actions en temps-réel. Dans le cadre de cette recherche, nous avons analysé les algorithmes de suivi des mains basés sur les dernières techniques d’apprentissage profond et mis en valeur le meilleur candidat pour notre contexte en termes de précision et de temps de traitement. Nous présentons différents concepts d’interaction pour le système et proposons d’évaluer deux concepts de visualisation pour assister l’opérateur lors du placement de composants. Les résultats de l’étude exploratoire (N=6) ont permis de mettre en valeur l’excellente utilisabilité du prototype et l’intérêt, exprimé par la population cible, d’utiliser de tels outils dans leurs tâches quotidiennes.