19 jul. 2011
2 minuten
Onderzoekers aan Cornell University in Amerika programmeren robots om menselijke activiteiten te herkennen door observatie. Vergelijkbaar dus met hoe mensen elkaars gedrag interpreteren. En ze doen dit door gebruik te maken van een supergoedkope Kinect-camera van Microsoft.
De Kinect-camera combineert een videobeeld met twee 3D-dieptesensoren die doormiddel van honderden infraroodlampjes een ‘puntenwolk’ maken met diepte-informatie over wat de camera ziet. Om de computerberekeningen te versimpelen worden beelden van mensen omgezet naar simpele draadpoppetjes.
Kinect-camera vormt robot-oog
Met de Kinect-camera als oog hebben de wetenschappers van Cornell een robot getraind om 12 verschillende menselijke activiteiten te herkennen. Activiteiten als tandenpoetsen, water drinken, bankhangen en achter de computer werken. De robot kijkt naar losse stukken activiteit en kan hieruit leren wat iemand aan het doen is. Tanden poetsen kan bijvoorbeeld worden opgedeeld in het uitknijpen van de tandpasta uit de tube, vervolgend de borstel naar je mond brengen, de hand heen en weer bewegen, enzovoort. De computer slaat een gemiddelde op van al deze subactiviteiten en koppelt ze aan, in dit geval, de handeling ‘tanden poetsen’.
Herkenning
Wanneer de robot dat vervolgens iemand anders zijn tanden ziet poetsen, zal hij de subactiviteiten vergelijken met die in de database. Natuurlijk poetst niemand op precies dezelfde manier zijn tanden. Daarom doet de computer een berekening op hoeveel kans er is dat de handeling overeenkomt met de opgeslagen handelingen en kiest de meest waarschijnlijke.
Experimenten
Tijdens experimenten met vier verschillende personen in vijf omgevingen, waaronder een keuken, woonkamer en kantoor, identificeerde de computer de 12 activiteiten in 84 procent van de keren correct als hij een persoon zag waarvan hij een handeling had geleerd en 64 procent als hij de persoon nooit eerder had gezien. Ook kon hij succesvol activiteiten uitsluiten die niets te maken hadden met de geleerde activiteiten.
Mogelijkheden
De techniek is nu nog pril, maar stel je voor: in de toekomst kan een computer in een fabriekshal via een camera wellicht herkennen wanneer medewerkers gaan pauzeren en lichten dimmen en machines uitzetten om stroom te besparen. Of wellicht herkennen als iemand met zijn ledematen te dicht in de buurt van een gevaarlijke machine komt en de machine preventief stoppen. De mogelijkheden zijn eindeloos.
Zelf experimenteren? Computercode om Kinect-data te converteren en verwerken is publiekelijk beschikbaar via deze link.
Anderen lazen ook
