Programmeurs van Amazon hebben ontdekt dat de voor haar ontworpen en zelflerende recruitment software niet zo van vrouwen hield. De voornoemde engine verwerkte cv’s van sollicitanten om zo ‘toptalent’ te scouten, zonder dat hier enige menselijke arbeid voor vereist was. Hiermee paste de software perfect in het beleid van Amazon, dat zich al jaren inspant om haar bedrijfsprocessen zo veel mogelijk te automatiseren.
Na verloop van tijd werd echter duidelijk dat de voornoemde engine niet zo genderneutraal was als van tevoren gehoopt. De engine verwerkte de gegevens uit de cv’s namelijk over een periode van 10 jaar, waarbij mannen sneller werden uitgekozen dan vrouwen – mannen zijn immers in het algemeen gedurende een langere periode werkzaam in de tech industry.
Aangezien de software zelflerend was, leerde het zichzelf steeds meer dat mannelijke kandidaten geschikter zouden zijn dan vrouwelijke. Het frappante daarbij was dat de machine zich zelfs aanleerde om ‘vrouwelijke’ woorden te blacklisten. Zo werden kandidaten met cv’s met daarin woorden als ‘women’s’ als in ‘women’s chess club captain’ weggefilterd, evenals sollicitanten van twee ‘vrouwelijke’ scholen (welke helaas onbekend zijn gebleven).
Uiteraard was dit voor Amazon niet het resultaat dat ze van tevoren voor ogen hadden. Na deze ontdekking heeft Amazon dan ook meteen het project op on hold gezet. Zij gaf daarbij aan nooit daadwerkelijk gebruikt te hebben gemaakt van de software voor de selectie van sollicitanten. Hoe dan ook, is het bovenstaande een goed voorbeeld van hoe technologie – hoe vernuftig het soms ook kan zijn – niet altijd doet wat men ervan verwacht. Ook is het een mooi voorbeeld van hoe ‘neutrale’ software lang niet altijd neutraal is. Over dit laatste blogden we de afgelopen jaren al vaker, bijvoorbeeld in het kader van Facebook – een platform dat in beginsel neutraal is, maar waarop gepubliceerd nepnieuws Donald Trump naar verluidt in de positie van president hebben gebracht.
