DELFT, 12 november 2012 13:44

De eerste stapjes van Robot Leo (video)

Robots programmeren voor taken in huishoudens of in de zorg is tijdrovend en lastig. Een efficiƫntere aanpak zou kunnen zijn om de robots het in de praktijk zelf te laten leren. Erik Schuitema onderzocht dit met robot Leo, die zichzelf kan leren lopen. Schuitema promoveert vandaag op dit onderwerp aan de TU Delft.

Dienstverlenende robots hebben de potentie om, op termijn, heel waardevol te zijn in huishoudens, de gezondheidszorg en in andere arbeidsintensieve omgevingen. Zulke omgevingen zijn echter meestal uniek, niet erg gestructureerd en aan verandering onderhevig, wat het lastig en tijdrovend maakt om dienstverlenende robots robuust en veelzijdig te maken via handmatig programmeren.

Zelflerende robot

Robots die (ter plekke) zelf leren om taken te vervullen door interactie met de echte wereld, kunnen daarom een aantrekkelijk alternatief zijn. Met Reinforcement Learning (RL) kan een systeem leren om taken op te lossen op basis van terugkoppeling op zijn gedrag: goed gedrag wordt versterkt door positieve beloningen, slecht gedrag wordt bestraft door negatieve beloningen. Promovendus Erik Schuitema onderzocht de kansen en mogelijkheden van een dergelijke aanpak voor echte robots.

Robot Leo

Meestal wordt dit soort onderzoek louter gedaan via simulaties. "Er is nog weinig bekend over de aansluiting met echte, daadwerkelijke hardware", zegt Schuitema. "Het is een sterk punt van de TU Delft dat juist die combinatie kan worden gemaakt."
Schuitema: "We hebben een tweevoetige, lopende robot, genaamd Leo, speciaal ontworpen en gebouwd om onderzoek te doen naar het toepassen van Reinforcement Learning op echte robots. Robot Leo is in staat om twee motorische basistaken te leren: het plaatsen van een voet op een traptrede, en lopen." Voordeel is hierbij dat aan de TU Delft al heel veel ervaring is opgedaan met het ontwerpen en bouwen van lopende robots. Het onderzoek werd mede gefinancierd door technologiestichting STW.

Positieve beloning

Om te leren lopen, ontvangt Leo een positieve beloning voor het vooruit bewegen van zijn voet, en negatieve beloningen voor het gebruik van tijd en energie. Die beloning is simpelweg een getalletje in de computer dat hoger of lager kan worden. Door uitproberen en bijsturen probeert Leo zijn beloningen te maximaliseren.

Het plaatsen van een voet op de trede, een relatief simpele taak, leerde Leo op deze manier uit zichzelf binnen vijftien minuten. Het leren lopen duurt ongeveer 5 uur in een simulatie, waarbij de robot duizenden keren valt. Omdat de hardware niet helemaal bestand was tegen zoveel keren vallen, werd besloten om Leo in de beginfase van het leren nog een handje te helpen. Hij kon in het begin nog een beetje ‘afkijken' van de manier waarop lopende robots nu handmatig worden geprogrammeerd. Leo kon deze loopwijze al snel evenaren en zelfs iets verbeteren binnen een aantal uur.

Vallen en opstaan

Als de hardware eenmaal beter bestand wordt gemaakt tegen vallen, zal een robot als Leo inderdaad helemaal uit zichzelf kunnen leren lopen, stelt Schuitema. Het lijkt er dus op dat de aanpak via Reinforcement Learning kansrijk kan zijn. Maar dan is er sowieso nog een lange weg te gaan. Schuitema: "Het werk staat nog in de kinderschoenen. Het kan nog wel decennia duren voordat dit soort robots in de praktijk aan de slag kunnen."

 

bron: TU Delft

Foto's:

De eerste stapjes van Robot Leo (video)

© Aandrijvenenbesturen.nl