Adverteerders stappen over op een nieuwe aanpak om te ontdekken wat we nu echt willen, en hoe ze daar direct op kunnen inspelen. Met kunstmatige intelligentie meten ze onze aandacht en zelfs onze emoties. Werkt dat?
‘Ons onderbewustzijn reageert in fracties van seconden op visuele informatie’, vertelt Gabi Zijderveld. ‘Het gaat om primaire emoties als blijdschap, opwinding of afkeer, maar vooral ook heel genuanceerde en subtiele emotionele reacties. Emoties die slechts minieme veranderingen in onze gezichtsuitdrukking veroorzaken. Deze micro-expressies ben je je meestal niet bewust, en vaak zie je ze niet eens met het blote oog. Maar met onze kunstmatig intelligente software kunnen we die wel op wetenschappelijk accurate wijze meten.’
Zijderveld is chief marketing officer van Smart Eye. Het van oorsprong Zweedse bedrijf profileert zich als internationale voorloper in artificiële intelligentie (AI) die in staat is menselijk gedrag en emoties te observeren, te interpreteren en in sommige gevallen ook te voorspellen. We staan aan het begin van een nieuw tijdperk, volgens haar. ‘AI kan ons steeds beter gaan ondersteunen. Onze software is bijvoorbeeld al in staat slaperige of afgeleide chauffeurs te waarschuwen voor hun risicovolle rijgedrag.’
Steeds meer grote techbedrijven storten zich op deze vorm van emotieanalyse. Zo deponeerde Meta, het voormalige Facebook, in januari dit jaar enkele honderden patenten op allerlei toepassingen voor deze technologie. De patentaanvragen bij het US Patent and Trademark Office betreffen onder meer mogelijkheden om biometrische data vast te leggen en te interpreteren. Die technologie wordt verwerkt in de virtualrealitybrillen waarmee gebruikers toegang krijgen tot het onlangs gehypte metaversum.
Het metaversum is een virtuele digitale omgeving die programmeurs geheel naar eigen inzicht kunnen vormgeven. Gebruikers betreden deze wereld met behulp van een headset en een avatar. Een avatar is een digitale representatie van jezelf, zoals een cartoonfiguur of een emoji, een soort alter ego. Om levensechte avatars te kunnen maken werken gespecialiseerde apps als Bitmoji met gezichtsherkenning. Maak een selfie, haal die door de app en binnen enkele seconden heb je een cartoonfiguur die opmerkelijk veel op je lijkt. Via de avatar heb je realtime interactie met de avatars van andere gebruikers en het (nog grotendeels vorm te geven) metaversum zelf.
Een deel van de patenten die Meta heeft aangevraagd, beschrijft technologie die een avatar helpt zo vloeiend mogelijk te bewegen en te communiceren in de digitale ruimte. Zo is er bijvoorbeeld sprake van een sensor die je oogbewegingen en gezichtsuitdrukkingen nauwkeurig volgt, en van een soort harnas van magnetische sensoren. In combinatie maken deze technologieën het mogelijk om jouw avatar te laten glimlachen of zwaaien precies op het moment dat jij dat ook doet.
Meta is eigenaar van Oculus, producent van zeer populaire VR-brillen als de Oculus Quest. Deze maand veranderde de naam van dat bedrijf in Meta Quest.
In een ander patent sorteert Meta voor op meer commerciële toepassingen. Door de oogbewegingen en gezichtsuitdrukkingen van gebruikers te analyseren met hulp van kunstmatig intelligentie kan het bedrijf monitoren of en hoelang je in het metaversum naar bepaalde advertenties kijkt. Sterker, de beoogde software moet straks zelfs in staat zijn je emotionele reactie op reclame of andere content vast te stellen. Meta kan vervolgens aanpassingen doorvoeren. Zo krijgt het idee van een gepersonaliseerde advertentie dus een geheel nieuwe dimensie.
Een van de pioniers op het gebied van technologische emotieanalyse is Affectiva. Deze start-up is de spin-off van een onderzoeksproject aan het gerenommeerde Massachusetts Institute of Technology (MIT), in Boston. Dat project leverde onder meer kunstmatig intelligente software op die in staat is via een gewone webcam de emotie van menselijke gezichten te ‘lezen’. Gabi Zijderveld werd in 2014 bij Affectiva eindverantwoordelijk voor productstrategie en marketing. Nadat het bedrijf vorig jaar werd overgenomen door Smart Eye, werd zij marketingdirecteur van dit bedrijf.
‘De technologie baseert zich op “micro-expressies” in het menselijk gezicht’, legt Zijderveld uit. ‘Bij Affectiva gebruikten we die vaak om de reacties van testpersonen op reclame te analyseren. Dat deden we bijvoorbeeld voor klanten als Coca-Cola en Nike. Die geven miljarden uit aan het produceren en delen van video’s, en dan wil je uiteraard tegen elke prijs vermijden dat je commercial irritatie oproept. Temeer omdat verschillende recente onderzoeken aantonen dat commercials die positieve emoties oproepen veel langer blijven hangen, en meer impact hebben op de voorkeur voor dat specifieke merk.’
In een wereld die consumenten bombardeert met marketinggeweld, is dat een cruciaal gegeven. In die wereld neemt het effect van advertenties namelijk steeds verder af, constateert Karen Nelson-Field in haar in 2020 gepubliceerde boek The Attention Economy and How Media Works. ‘Het feit dat consumenten een advertentie zien, betekent nog niet dat ze hun koopgedrag aanpassen’, stelt de Australische hoogleraar media-innovatie. ‘Door de immer toenemende informatiestress waaraan de gemiddelde consument dagelijks wordt blootgesteld, registreert die een groot deel van deze reclames niet of nauwelijks meer.’
Dankzij haar onderzoek is Nelson-Field een veelgevraagd spreker op internationale marketing- en mediacongressen. Om haar kennis om te zetten in klinkende munt startte ze haar eigen onderzoeksbureau. Met de hulp van een aantal meegekomen universitaire onderzoekers ontwikkelde ze een digitale meetmethode, die ze amplified intelligence noemde. Daarmee wordt de aandacht van consumenten voor op tv- en telefoonschermen getoonde informatie precies gemeten.
‘We gebruiken onder meer camera’s die de oogbewegingen van testpersonen nauwkeurig volgen’, vertelt Nelson-Field. ‘Onze software registreert welke informatie ze op dat moment bekijken. Zo kun je heel precies zien hoelang ze een advertentie bekijken. Doordat we de technologie hebben verwerkt in een app kunnen we relatief eenvoudig het kijkgedrag van duizenden testpersonen volgen. Des te meer data we verzamelen, des te meer we leren, en hoe beter we de emotionele reacties van grote aantallen kijkers kunnen vastleggen.’
De hoeveelheden privacygevoelige informatie die zowel amplified intelligence als Smart Eye en het voormalige Affectiva hebben verzameld, zijn enorm. Zo bevatte de databank van Affectiva bij overname ruim vijf miljard videofragmenten van meer dan elf miljoen testpersonen uit negentig landen, die gezamenlijk meer dan 60.000 advertenties testten.
‘Uiteraard is deze data supervertrouwelijk en niet te herleiden tot specifieke personen’, vertelt Zijderveld. ‘Maar net als van elke krachtige technologie kan ook van technologische emotieanalyse misbruik worden gemaakt. ‘Affectiva werkte daarom alleen met testpersonen die expliciet toestemming hadden verleend om hun kijkgedrag te monitoren.’ Het bedrijf werkte ook met een strikte ethische code om misbruik van zijn technologie door derden te voorkomen. Dat geldt ook voor de autoproducenten die de technologie gebruiken om chauffeurs te waarschuwen die in slaap vallen of veel stress ervaren. ‘Ik denk echter dat het naïef is om voorkoming van misbruik te laten afhangen van de goede wil van bedrijven’, stelt zij. ‘Dat moet dus met wetgeving gebeuren.’
Zijderveld is niet de enige expert die daarop aandringt. De vooraanstaande Amerikaanse gedragswetenschapper Brian Jeffrey Fogg waarschuwt al jaren voor de gevaren van ‘massale emotie-surveillance’. Fogg is de oprichter van het Persuasive Technology Lab van de Stanford-universiteit, die onderzoek doet naar onder meer de mogelijkheden om het gedrag van mensen te beïnvloeden met digitale prikkels. Volgens hem werken steeds meer techbedrijven aan het in kaart brengen van onze persoonlijkheid en emotionele blauwdruk.
Dankzij de data van miljarden gebruikers is het voormalige Facebook hierin absoluut een van de voorlopers. Verschillende incidenten bewijzen dat het sociale netwerk volop experimenteert met commerciële toepassingen. Al in 2014 lekte informatie uit over geheime tests waarbij het sociale netwerk de gemoedstoestand van honderdduizenden gebruikers probeerde te beïnvloeden met subtiele veranderingen in hun nieuwsfeed. Uit een nieuw lek, in 2017, bleek dat Facebook merken de gelegenheid bood hun advertenties specifiek te richten op onzekere tieners met een laag gevoel van eigenwaarde. Het omstreden Cambridge Analytica gebruikte Facebook-data om Amerikaanse stemmers te selecteren die het met behulp van nepnieuws kon manipuleren om op toenmalig presidentskandidaat Donald Trump te stemmen.
‘Ik denk dat het naïef is om voorkoming van misbruik te laten afhangen van de goede wil van bedrijven’
Fogg beschrijft onder meer hoe Meta de profielen van zijn miljarden leden zou kunnen aanvullen met zogenoemde overtuigingsprofielen, vol informatie over de beste wijze om iemand te beïnvloeden. In zo’n profiel zouden reacties op getoonde content doorlopend kunnen worden vastgelegd en geanalyseerd. Op die manier zou het sociale netwerk bijvoorbeeld steeds beter kunnen gaan begrijpen hoe individuele leden op verschillende soorten verkoopargumenten reageren. Zo is de een mogelijk gevoeliger voor een schaarsteargument (‘Koop snel, dit is een van de laatste exemplaren op voorraad’) en laat de ander zich vaker beïnvloeden door de mening van autoriteiten (‘Arnon Grunberg vond dit een van de beste boeken van het jaar’).
Dankzij de mogelijkheid om internetgebruikers advertenties te tonen die aansluiten op hun persoonlijke interesses, incasseren Facebook en Google op dit moment al ruim de helft van het wereldwijd bestede onlinemarketingbudget. Als dit soort partijen reclame ook kan aanpassen aan persoonlijke overtuigingsprofielen wordt de grens tussen marketing en manipulatie wel heel erg dun, constateren critici als Fogg. Zeker in een geheel digitale, in potentie zeer imponerende omgeving als het metaversum.
Een van de andere patenten die Meta vorige maand deponeerde, betrof de mogelijkheid om objecten of ervaringen in de alomvattende digitale ruimte van het metaversum te veilen aan de hoogste bieder. Meta wil niet ingaan op vragen over de werking van technologie of zijn reden om de patenten aan te vragen. Het wijst er wel op dat de technologie die in deze patenten wordt beschreven ‘niet noodzakelijkerwijs in onze producten of diensten gebruikt zal gaan worden’.
Wetgevers moeten snel gaan nadenken over nieuwe regels om te voorkomen dat bedrijven misbruik maken van persoonlijke en biometrische data. Dat stelt John Verdi, van het Future of Privacy Forum, een in Washington gevestigde denktank. ‘Nu al zie je dat veel consumenten gevoelige biometrische informatie als hun vingerafdruk afgeven, of hun gezicht laten scannen voor toegang tot hun mobiele telefoon’, stelt Verdi.
Door het gebruik van augmented of virtual reality neemt de hoeveelheid vastgelegde biometrische informatie enorm toe. ‘Dankzij data van bijvoorbeeld ogen en oogbewegingen kunnen adverteerders gebruikers gaan identificeren en analyseren, met een uitgestrekt privacymijnenveld als gevolg. Behalve interesses en emoties is het zo bijvoorbeeld ook mogelijk zeer intieme gegevens over iemands gezondheid te achterhalen. Het is niet moeilijk om je voor te stellen dat dit soort data gemakkelijk misbruikt of verkocht kan worden.’
Emotieanalyse met kunstmatige intelligentie is zeer complex. Dat komt ook doordat emoties meestal subtiel en contextgevoelig zijn, beïnvloed door culturele normen. ‘Een glimlach betekent niet altijd dat iemand blij is’, legt Gabi Zijderveld van Smart Eye uit. ‘Het kan bijvoorbeeld ook frustratie uitdrukken. In Japan heb je de beleefde glimlach en in India het beleefde hoofdschudden.’ Mede daardoor is het volgens haar niet mogelijk om emoties van één enkel beeld ‘af te lezen’. De meeste emoties of gemoedstoestanden ontwikkelen zich ook in de tijd, vertelt ze. ‘Als je bijvoorbeeld de eerste tekenen van vermoeidheid vroeg kunt herkennen, kun je na verloop van tijd met steeds meer zekerheid vaststellen dat een persoon echt moe begint te worden. Belangrijk als je bijvoorbeeld wilt waarschuwen voor potentieel gevaarlijk rijgedrag.’
Context is een belangrijke sleutel. Zijdeveld: ‘Als wij de reacties van testpersonen op commercials vastleggen, weten we waar mensen naar kijken. Is het een humoristische advertentie en iemand lacht, dan kan je met grote zekerheid zeggen dat die persoon het leuk vindt. Maar als het een shockerende advertentie betreft, kan die glimlach ook duiden op ongemak. In beide gevallen kan dat het gewenste effect zijn dat de adverteerder wil bereiken.’
En dan is er nog het risico op vooringenomenheid en stereotypering. ‘Alleen na heel veel training met de juiste data zijn deze systemen in staat accuraat allerlei type mensen te herkennen. Of iemand een bril opheeft, een baard heeft, een hijab draagt, of een donkere huidskleur: de AI mag niet bevooroordeeld zijn en moet iedereen kunnen herkennen. Onze dataset bevat daarom miljoenen “gezichtsvideo’s” van testpersonen uit negentig landen. Zonder zo’n grote en diverse dataset is bias lastig te vermijden.’
Arnoud Groot is freelancejournalist.
