17 dec. 2025
1 minuut
Onderzoekers van de EPFL hebben nieuwe software ontwikkeld die het bedrijfsmodel van Big Tech wel eens op losse schroeven zou kunnen zetten. Met de nieuwe software hoeven er geen gegevens meer naar externe clouddiensten te worden gestuurd wanneer AI wordt gebruikt om een taak uit te voeren. Hier vind je de oorspronkelijke bijdrage van Tanya Petersen (EPFL).
Het gebruik van kunstmatige intelligentie voor alledaagse taken is de afgelopen drie jaar snel gegroeid. AI-modellen worden steeds nuttiger voor het verwerken van gevoelige gegevens, zoals patiëntendossiers, verzoeken van klanten of vertrouwelijke werkgerelateerde documenten.
Telkens wanneer AI wordt gevraagd om een taak uit te voeren, begint de zoekopdracht lokaal op de computer van een gebruiker. Vervolgens gaat het naar de ‘cloud’ en genereert AI met behulp van krachtige hardware een antwoord genereert. Dit proces heet ‘inferentie’. Het antwoord wordt dan weer teruggestuurd naar de lokale computer van de gebruiker.
Daar heb je tegenwoordig een enorme capaciteit voor de gegevensverwerking voor nodig. Dat gebeurt in enorme datacenters nodig zijn, die ook nodig zijn om AI-modellen zoals ChatGPT, Gemini en Claude te trainen. Dit betekent dat zowel inferentie als training momenteel bijna uitsluitend door Big Tech worden gecontroleerd.
‘Distributed AI’ eenvoudig gemaakt
Nu hebben EPFL-onderzoekers Gauthier Voron, Geovani Rizk en Rachid Guerraoui van het Distributed Computing Laboratory (DCL) van de School of Computer and Communication Sciences nieuwe software uitgebracht waarmee gebruikers open-source AI-modellen kunnen downloaden en lokaal kunnen gebruiken, zonder dat ze de cloud nodig hebben om vragen te beantwoorden of taken uit te voeren.
De nieuwe software, Anyway Systems genaamd, coördineert en combineert gedistribueerde machines op een lokaal netwerk tot een on-premise cluster. Het maakt gebruik van robuuste zelfstabilisatietechnieken om het gebruik van onderliggende lokale hardware te optimaliseren, in tegenstelling tot de gangbare opvatting dat er enorme datacenters nodig zijn om AI-modellen te implementeren.
In een half uur
Het kan in slechts een half uur worden geïnstalleerd op een netwerk van lokale machines, zonder dat er gegevens het netwerk verlaten, waardoor privacy en soevereiniteit worden gegarandeerd. Een zeer groot AI-model zoals GPT-120B, het nieuwste en grootste open model van OpenAI, kan in enkele minuten worden gedownload en geïmplementeerd op Anyway Systems. Hiervoor zijn niet meer dan 4 machines met elk 1 standaard GPU (die elk ongeveer 2300 CHF kosten) nodig, in plaats van een dure gespecialiseerde rackbehuizing (die ongeveer 100.000 CHF kost), die tot nu toe noodzakelijk werd geacht om een AI-model te draaien.
“Jarenlang hebben mensen geloofd dat het niet mogelijk is om grote taalmodellen en AI-tools te hebben zonder enorme middelen, en dat gegevensprivacy, soevereiniteit en duurzaamheid hier het slachtoffer van waren, maar dat is niet het geval en slimmere, zuinigere benaderingen zijn mogelijk”, aldus professor Rachid Guerraoui, hoofd van het DCL.
Privacy, soevereiniteit en duurzaamheid
Wanneer de gegevens van een gebruiker naar de cloud worden verzonden, rijzen er cruciale vragen over veiligheid en privacy, met name of die gegevens worden gebruikt om AI-modellen verder te trainen of te verbeteren. Bovendien roept de afhankelijkheid van grote, wereldwijde cloudproviders voor AI-diensten vragen op over AI-soevereiniteit, omdat hierdoor de controle over kritieke nationale activa – gegevens, algoritmen en infrastructuur – wordt overgedragen van een binnenlandse entiteit naar transnationale ondernemingen.
Bovendien zorgt de enorme rekenkracht die nodig is om AI-vragen in de cloud te beantwoorden – naar schatting is inferentie goed voor 80 tot 90 procent van de AI-gerelateerde rekenkracht – voor een snelle uitbreiding van de enorme datacenters voor AI, die enorme hoeveelheden energie en water verbruiken.
“Anyway Systems blinkt uit in inferentie, maar het kan ook helpen om de benodigde middelen voor training te verminderen”, legt Guerraoui uit. Uit pilot-tests is gebleken dat wanneer een model wordt gedownload en uitgevoerd op verspreide lokale machines in plaats van op een enorme cloud, we misschien een beetje latentie verliezen – dat is de tijd om op een prompt te reageren – maar geen nauwkeurigheid.”
Van blockchain naar AI?
“We zeggen dat Anyway Systems eenvoudig, schaalbaar en veilig is”, vervolgt Guerraoui. Eerdere varianten van het Anyway-algoritme zijn vele jaren geleden ontwikkeld door het DCL, waar onderzoekers zich al lang richten op gedistribueerde computing, fouttolerantie, optimalisatie en privacy.
De eerdere algoritmen van het DCL waren bestaande oplossingen voor andere uitdagingen voor technologieën zoals blockchain en cryptovaluta. Drie jaar geleden kwamen Guerraoui en zijn collega’s op het idee om zelfstabilisatietechnieken toe te passen op AI, wat bijna perfect bleek te werken.
“Als laboratorium zijn we misschien wel uniek in het werken aan robuuste gedistribueerde computing en machine learning vanuit zowel theoretisch als praktisch perspectief, en we richtten onze aandacht op het gebruik van zelfstabilisatietechnieken voor AI. Ze werkten! We dachten: laten we ze optimaliseren en optimaliseren, en ze werkten nog beter. Het resultaat is bijna te mooi om waar te zijn”, aldus Guerraoui.
Prototypefase voorbij
Anyway Systems is onlangs geselecteerd als een van de zes eerste begunstigden van het Startup Launchpad AI Track – powered by UBS, het eerste subsidieprogramma in Zwitserland dat zich richt op AI. Deze projecten zijn geselecteerd uit meer dan 50 voorstellen en ontvangen financiering en ondersteuning op maat om hun traject van prototype naar marktrijpheid te versnellen.
De software is de prototypefase voorbij en wordt nu getest in bedrijven en overheidsinstellingen in heel Zwitserland, waaronder bij EPFL. De eerste gebruikers evalueren momenteel de voor- en nadelen op het gebied van snelheid, nauwkeurigheid en kwaliteit.
“Anyway Systems vertegenwoordigt een interessante en aantrekkelijke technologie die het gebruik van middelen optimaliseert en tegelijkertijd de gegevensbeveiliging en -soevereiniteit waarborgt, en die een gamechanger op het gebied van AI zou kunnen zijn”, aldus professor David Atienza, adjunct-vicevoorzitter van onderzoekscentra en technologieplatforms bij EPFL. “De duurzame aanpak sluit perfect aan bij de behoeften van de geavanceerde computerplatforms van EPFL en zal een cruciale rol spelen bij het vormgeven van de toekomstige AI-ontwikkeling bij EPFL, waarbij minder middelen worden verbruikt dankzij de nieuwe implementatie van LLM-modellen zoals Apertus.”
Nog niet thuis
Voorlopig werkt Anyway Systems nog niet op een enkele desktop of laptop thuis, maar de geschiedenis van de informatica leert ons dat optimalisatie vaak snel verloopt. “Je telefoon bevat waanzinnige hoeveelheden informatie die een paar jaar geleden nog ondenkbaar waren, en nu doe je er alles mee. Hij kan alle 100 beste schaakkampioenen tegelijk verslaan, terwijl de computer die nodig was om Kasparov te verslaan enorm was. De geschiedenis leert ons dat dit de gang van zaken is. Wat we zeggen is dat we op het gebied van AI alles lokaal zullen kunnen doen. We zouden onze open-source AI naar keuze kunnen downloaden, deze aan onze behoeften kunnen aanpassen en wij, niet de grote techbedrijven, zouden de baas kunnen zijn over alle onderdelen”, concludeerde Guerraoui.
