Hand Rhythm
Équipe IMAGE
Ce démonstrateur présente un usage de l'apprentissage profond en vision par ordinateur.
À partir d'un flux vidéo d’une personne, la main principale (gauche ou droite) est détectée à partir de réseaux neuronaux pré-entrainés.
Une reconnaissance de l’orientation de la main est effectuée en ligne afin de détecter l’interaction de l’utilisateur avec le jeu.
Pour cela, le joueur effectue des gestes (haut 👆, bas👇, gauche👈, droite👉) avec sa main (gauche ou droite) pour activer une colonne de notes de musique.
Lors du jeu, il s’agit d’activer la bonne colonne au passage d'une note dans la zone de hit pour marquer des points.
Ce démonstrateur utilise la technologie TensorFlowJS.
Contributeur
Brice Ledanois