Microsoft a certainement oeuvré pour améliorer l’interaction entre l’homme et la machine. Avec Windows. Avec Kinect. Et le géant de Redmond, via sa branche Microsft Research, finance des projets visant à apporter d’autres moyens d’utiliser les outils électroniques et multimédias. En début de semaine Microsoft Research a posté une demi-douzaine de vidéos résumant certains des travaux en cours. Et la firme a de la suite dans les idées.
Le toucher, la voix et le stylet en même temps
Les différents projets exposés peuvent se regrouper en deux grandes catégories. Il y a ceux qui exploitent la dalle tactile en enrichissant l’interface homme-machine en rendant l’interaction « multicanal ». Dans ce cas, plusieurs outils de saisie sont proposés, comme le stylet, le doigt, la voix, etc. C’est le cas de RichReview qui combine l’utilisation de la voix et du stylet pour enrichir un document textuel. Grâce à certains gestes, il est possible d’ajouter des informations, de les lier et de les synchroniser les unes avec les autres.
User de ses mains sans avoir besoin d'un écran tactile
Le second groupe se dédie à la gestuelle qui n’utilise pas l’écran tactile, mais les différents capteurs du téléphone. Il peut s’agir de la caméra, comme avec Air-Gestures. Dans ce cas, une application utilise l’APN d’un smartphone pour étudier la position de la main et des doigts et interprète les informations pour en saisir une interaction. Ceci est évidemment combinable avec l’écran tactile. Et inutile de changer de smartphone pour en bénéficier. C’est plutôt malin. Et c’est évidemment compatible avec les tablettes et les montres connectées.
Ce système pourrait être combiné à Handpose, un autre système étudié par Microsoft Research. Il s’agit d’un système de tracking qui étudie avec précision la position de la main. Le système est même en mesure de retrouver la main, même si la caméra bouge beaucoup. Ce qui conviendra parfaitement aux smartphones, par exemple.
Un stylet vraiment intelligent ?
Sensing Techniques reprend ce même principe et l’applique à d’autres objets : le smartphone et le stylet. Grâce aux accéléromètres et gyroscopes, le système analyse la préhension exercée pour comprendre l’usage qui sera fait. La façon de tenir un stylet par exemple est différente selon l’activité (écriture, dessin, navigation contextuelle, état stationnaire, etc.) et l’usager (droitier, gaucher). De même pour la tablette : est-elle penchée ou à plat ? Et enfin, la situation de la main qui ne tient pas le stylet. Un système qui nous rappelle, dans une moindre mesure, le S Pen de la gamme Galaxy Note de Samsung.
La dernière vidéo nécessite l’usage d’un accessoire dédié, FlexSense. Il s’agit d’un film transparent intégrant des capteurs piézoélectriques qui analyse s’il est plié, soulevé ou stationnaire. L’idée est d’offrir une dimension supplémentaire aux écrans tactiles. Difficile de résumer ce concept innovant. Nous vous laissons avec le document audiovisuel.
