Velen onder ons weten niet wat een “adversarial attack” is, laat staan hoe ze dat kunnen vermijden; het CITC (Centre d’Innovation des Technologies sans Contact) gaf op 28, 29 en 30 januari 2020 tijdens de FIC-beurs (Forum International de la Cybersécurité), een demonstratie van zo’n attack.
16 apr. 2020
Bezoekers van de FIC-beurs leerden hoe kunstmatige intelligentie wordt ingeschakeld voor kwaadwillige daden, vooral dan in het kader van identiteitsfraude.
De bedoeling was niet om de zwakke plekken van een systeem aan de kaak te stellen of om een computernetwerk te kraken. Als expert in cyberbeveiliging en kunstmatige intelligentie in het kader van het internet der dingen, wees het CITC het publiek erop dat machine learning – met regelmatige trainingen van algoritmen om adversarial attacks te voorkomen – grenzen heeft en dat aanvalssystemen die passwords kraken, almaar beter worden.
Voor de demonstratie werd een scenario uitgewerkt:
Om een gevoelige zone of gevoelige sectoren te beschermen wilde een onderneming een gezichtsherkenningssysteem invoeren zodat alleen geaccrediteerde personen naar binnen kunnen.
Dit algoritme voor gezichtsherkenning is de vrucht van Deep Learning-technieken gebaseerd op digitale AI. We wilden aantonen dat een hacker de digitale kunstmatige intelligentie kan gebruiken om een foutenfrequentie in te voeren waardoor de algoritmen voor gezichtsherkenning misleid kunnen worden.
Hoe werkte het systeem?
Een camera aan de ingang van een sector maakt een foto van de persoon die naar binnen wil. Zodra de foto gemaakt en in een monitoringdossier opgeslagen is, treedt het algoritme voor gezichtsherkenning in werking. Dat algoritme vergelijkt de foto met de gegevens waarover het beschikt, en als de persoon geaccrediteerd is, wordt hij al dan niet binnengelaten.
Het is echter makkelijk om deze herkenningssystemen te misleiden. Personen die absoluut niet in de databank zitten, kunnen toch geïdentificeerd worden en toestemming krijgen om de site te betreden.
Dat principe wordt “Targeted Misclassification” (of aanval van identiteitsfraude) genoemd en het kan de algoritmen voor beeldherkenning misleiden, waardoor een kwaadwillige daad mogelijk wordt.
Hoe zat de attack in elkaar?
Om toegang te krijgen tot het monitoringdossier en zo het systeem voor gezichtsherkenning te misleiden, simuleerden we een toegangsfout via een bewakingscamera buiten, die via wifi aan het netwerk verbonden is en waarvan de authenticatiecodes niet werden gewijzigd (deze “goedaardige” fout staat in de OWASP-top-10 2018 van IoT*-beveiligingsproblemen op de eerste plaats). Zodra de hacker toegang heeft tot het monitoringdossier, ontvangt hij de daarin gemaakte en opgeslagen foto’s.
Wil u graag meer weten over deze demonstrator en de manier waarop adversarial attacks gerealiseerd worden? Neem dan contact op het met het CITC-team.