SAARBRüCKEN, 4 mei 2017 10:25

Handbediening voor smartwatch en smartphone (video)

Smartwatches heten een revolutie te zijn in handbediening. Maar tot nu toe zijn ze alleen omslachtig te bedienen. Onderzoekers van het Max-Planck-Institut für Informatik, de Univesrität des Saarlandes, de Universiteit van Kopenhagen en Aalto University (SF) hebben daarom samen met collega's uit Finland en Denemarken een nieuwe invoermethode ontwikkeld.

Bij de nieuwe methoden worden de bewegingen van duim en wijsvinger niet (zoals bij een touchscreen) naast het horloge op de rug van de hand gevolgd, maar ook in de lucht boven de rug van de hand.

Op deze manier kunnen niet alleen smart watches, smartphone, moderne televisies en bedieningsapparaten worden aangestuurd, er zijn ook nieuwe vormen van interactie mogelijk.

Dieptesensor

Aan hardware vraagt het prototype, door de onderzoekers WatchSense gedoopt, alleen een dieptesensor. Dit is een kleinere versie van de sensor die bekend is van de Kinect spelbesturing van de Xbox 360 videospelconsole.

Bij de WatchSense zit de dieptesensor op de onderarm van de gebruiker, een kleine 20 cm van het horloge verwijderd. Als een soort 3D-camera filmt hij bewegingen van duim en wijsvinger, zowel op de rug van de hand als in de ruimte daarboven.

De door de onderzoekers ontwikkelde software herkent in het 3D-beeld de positie en beweging van de vingers, zodat de gebruiker hiermee apps op de smartphone etcetera kan aansturen.

De momenteel verkrijgbare dieptesensoren passen weliswaar nog niet in een smartwatch, maar de trend gaat er duidelijk naar toe dat in de nabije toekomst kleinere dieptesensoren in de smartwatches kunnen worden geïntegreerd.

Machine learning

Maar daarmee zijn de onderzoekers er nog niet. Ze moeten met hun softwaresysteem nog uit de voeten zien te komen met de ongelijke ruggen van handen en met de situaties dat de vingers elkaar overlappen, vanuit de sensor gezien.

Het belangrijkste is dat de software de vingers niet alleen herkent, maar ook kan onderscheiden. Tot nu toe is dat geen enkel draagbaar prototype gelukt, maar de onderzoekers lukt het zelfs in real-time. De nu ontwikkelde software herkent exact de positie van duim en wijsvinger in het door de dieptesensor geleverde 3D-beeld. Dat werd mogelijk omdat de wetenschappers de software met machine learning daarop hebben getraind. Bovendien hebben ze hun prototype met succes in combinatie met verschillende mobiele apparaten en in diverse scenario's getest.

Augmented en Virtual Reality

Smartphones kunnen weliswaar met één of meer vingers op het scherm worden bediend, maar de lucht erboven gebruiken ze niet. Combineert men beide, dan zijn tot nu toe onmogelijke vormen van interactie mogelijk.

Zo konden de wetenschappers met WatchSense het geluidsvolume in een muziekprogramma sneller veranderen en een nieuw nummer uitkiezen dan met een conventionele app. Ze probeerden de WatchSense ook voor taken in Augmented en Virtual Reality en op een landkaarttoepassing en bestuurden daarmee ook een groot extern beeldscherm.

Gebruikersstudies toonden aan, dat de WatchSens in vergelijking met conventionele aanraakgevoelige displays gebruikersvriendelijker is. Volgens de onderzoekers is er een systeem als WatchSense nodig willen we onderweg productief zijn, bijvoorbeeld als onderweg naar het werk nog snel een bericht willen sturen. WatchSense maakt voor het eerst echte ‚interaction on the move‘ mogelijk.

 

bron: Univesrität des Saarlandes

Foto's:

Handbediening voor smartwatch, smartphone en smart TV

De nieuwe invoermethode bepaalt de bewegingen van duim en wijsvinger op de rug van de hand en in de ruimte daarboven.

Handbediening voor smartwatch, smartphone en smart TV

De smartwatch kan ‘vanuit de lucht’ worden bediend.

© Aandrijvenenbesturen.nl