CAMBRIDGE, MASSACHUSETTS (VS), 21 augustus 2014 10:03

Gesprekken afluisteren met een zak chips (video)

De ‘visual microphone' van MIT is het soort instrument Q zou kunnen hebben ontwikkeld voor James Bond. Maar er is een verschil: hij bestaat echt. MIT onderzoekers onder leiding van Abe Davis zeggen dat ze er in zij geslaagd om complete gesprekken en muziek te reconstrueren door eenvoudigweg de trillingen van een zak chips of de bladeren van een plant met video op te nemen en daarna te analyseren.

De onderzoekers gebruiken een high-speed camera om voorwerpen op te nemen - een snoeppapiertje, een zak chisp, een plant - die bijna onzichtbaar meetrillen met de stemmen in een conversatie of met muziek of ander geluid. Dan gebruiken ze een algoritme die al in eerder onderzoek is ontwikkeld, waarmee de bewegingen van elk voorwerp worden geanalyseerd en het oorspronkelijke geluid kan worden gereconstrueerd. Het resultaat? Alles wat je zegt in de buurt van het toevallig rondslingerende zakje chips kan tegen je worden gebruikt in een rechtzaak.

De techniek is tot op een kleine fractie van een pixel nauwkeurig. Het geluid kan worden gereconstrueerd op basis van de mate waarin de randen van de pixels van kleur veranderen ten gevolge van geluidstrillingen. Het maakt niet uit of de videoregistratie in dezelfde ruimte als het gesprek plaatsvindt, of dat er op afstand wordt gefilmd, bijvoorbeeld vanachter een geluiddichte ruit.

De onderzoekers gebruikten hun algoritme om de noten en tekst van / Mary Had a Little Lamb' digitaal te reconstrueren, met een verrassend goede geluidskwaliteit. Ook het nummer ‘Under Pressure' van Queen kon met zoveel detail worden teruggehaald dat het werd herkend door de muziekherkennings-app Shazam.

Maar de visuele microfoon kent ook zijn beperkingen. Het team slaagde er in om goede opnamen te maken op een afstand van ongeveer 5 meter, maar grotere afstanden zijn nog niet onderzocht. En ook niet alle materialen zijn even geschikt. Plastic tasjes, foam bekertjes en folie werken het best. Met water en planten gaat het ook goed. Zwaardere materialen als bakstenen zijn veel minder geschikt: die zijn veel lastiger in trilling te brengen. Ook de keuze van de camera is van belang. De beste resultaten werden behaald met high-speed cameras die 2000 tot 6000 frames per seconde kunnen opnemen. Dat zijn zeker niet de snelste camera's maar ze werken in ieder geval een paar grootte-orden sneller dan de gemiddelde smartphonecamera. Toch moet het volgens het team ook mogelijk zijn om met een smartphone verstaanbare resultaten, weliswaar met veel meer ruis en een veel slechtere kwaliteit, maar toch...

Foto's:

Visuele microfoon.

Visuele microfoon.

© Aandrijvenenbesturen.nl