Dit blog is van mei 2019. We laten het staan en zetten deze correctie erboven, want wij vinden dat je moet kunnen zien waar wij het mis hadden.
“Wij weten niet, wij gissen.”
Karl Popper, Logik der Forschung (1934)
Wetenschap is voortschrijdend inzicht. Dat is een prettige gedachte zolang het over anderen gaat.
Deze reeks leunt volledig op de validiteitstabel van Schmidt en Hunter uit 1998, twintig jaar lang de standaard in ons vakgebied. In 2022 lieten Paul Sackett, Charlene Zhang, Christopher Berry en Filip Lievens zien dat de statistische correctie waarop die cijfers rusten systematisch verkeerd is toegepast. Vrijwel elk getal in onze tabel is .10 tot .20 te hoog. De rangorde klopt ook niet meer. Het gestructureerde interview staat nu bovenaan met .42, de capaciteitentest zakte van .51 naar .31, en in onderzoek van deze eeuw zelfs naar .22 (Sackett e.a., 2024). Wat wij in 2019 het best onderbouwde instrument noemden, staat inmiddels in de middenmoot.
Wij schreven over het gestructureerde interview: “met een validiteit van 51%, niet veel beter dan kop of munt”. Twee fouten in één zin. Een validiteit van .51 is een correlatie en geen percentage. En .51 was in onze eigen tabel, één blog eerder, de hoogste score van alle vijftien instrumenten. We zetten het beste instrument uit ons eigen overzicht weg als waardeloos.
Wat wél overeind blijft. Het gesprek zoals de meeste organisaties het voeren voorspelt zwak. Jaren werkervaring voorspellen vrijwel niets. De eerste indruk is geen voorspeller. Grafologie is onzin. Op die punten hadden we gelijk, en de nieuwe cijfers maken ze alleen maar scherper.
Wat er sindsdien bij is gekomen is het inzicht dat de manier waarop je de informatie over een kandidaat samenvoegt meer uitmaakt dan de vraag welke instrumenten je inzet. In Nederland legt ruim driekwart van de organisaties niet vooraf vast hoe er beoordeeld gaat worden. Daar valt de grootste winst te halen, en het kost geen cent.
We hebben het onderwerp opnieuw uitgezocht, met alle bronnen nagelopen en alle cijfers gecontroleerd. Het resultaat lees je hier. Het volledige rapport met de bronnenlijst vraag je op via info@idplein.nl.
Deel III – Hoe selecteren HR-professionals? Uitslag van de poll.
Van de HR-professionals besteedt 43% hun tijd voornamelijk aan werving & selectie. Als selecteren je corebusiness is, dan heb je waarschijnlijk je eigen strategie ontwikkeld om de meest geschikte kandidaat er uit te filteren. Ben je benieuwd of jouw kennis, ervaring en intuïtie stroken met wat de wetenschap ons vertelt? Er is veel onderzoek gedaan naar de wat de slimste sollicitatieprocedure is. In een drieluik lichten we toe:
Deel I – Wat zijn de meest effectieve selectiemethoden?
Deel II – Welke combinatie van instrumenten geeft het slimste selectieproces?
Deel III – Hoe selecteren HR-professionals? Met de uitslag van de poll.
Wil je voordat je gaat lezen wat de bevindingen uit 85 jaar onderzoek zijn eerst je eigen kennis testen? Vul dan onze poll in en geef aan wat jouw top 5 van selectie-instrumenten is.
Wetenschap in HR
Vijftien jaar geleden werden voor het eerst de resultaten van 85 jaar onderzoek gepubliceerd over wat wel en niet werkt in selectieprocedures 1. De afgelopen jaren werden deze uitkomsten aangevuld en ondersteund door veel vervolgonderzoek. Maar is deze kennis bekend bij de beroepsgroep die er in de dagelijkse praktijk zijn voordeel mee kan doen: de HR-professionals?
Hoe selecteert Nederland (niet)?
Via een poll inventariseerden we onder HR-professionals hun top 5 van meest betrouwbare en waardevolle selectie-instrumenten, van 5 sterren voor het meest gewaardeerde instrument en aflopend naar 1 ster. En hoewel we natuurlijk niet pretenderen dat met 190 respondenten onze poll wetenschappelijk gevalideerd is, zijn de uitkomsten op zijn minst opzienbarend te noemen:
- Geen enkele respondent hanteert de meest ideale selectieprocedure 2: een IQ-test aangevuld met een gestructureerd interview, arbeidsproeven en integriteitstest. (link blog…)
- De IQ-test is het best wetenschappelijk onderbouwde meetinstrument. Des te meer opmerkelijk dat geen enkele respondent dit onderschrijft. Bij de helft van de respondenten maakt de IQ-test geen deel uit van hun top 5, de andere helft geeft 1 tot 3 sterren (van de 5).
- Het gestructureerd interview maakt deel uit van de ideale selectieprocedure. Dit is onder onze respondenten veruit het best gewaardeerde instrument. Hoewel de helft van de respondenten geen waarde heeft toegekend, geeft de andere helft gemiddeld 4,2 van de 5 sterren.
- Slechts 1 op de 7 respondenten erkent het belang van arbeidsproeven in de selectieprocedure.
- De integriteitstest werd door geen enkele respondent aangevinkt. Integriteit is een belangrijke pijler van de eigenschap consciëntieusheid, ook de test hierop werd niet gekozen. 1 op de 5 respondenten koos voor inzet van een persoonlijkheidstest, consciëntieusheid maakt daar deel van uit.
Hoe selecteert Nederland (wel)?
Duidelijk is dat de beschikbare kennis over de ideale selectieprocedure nog niet overal is doorgedrongen . De poll laat de volgende top 5 van onze respondenten zien:
- Gestructureerd interview. Een goed instrument als onderdeel van de ideale procedure. Maar als opzichzelfstaand instrument, met een validiteit van 51%, niet veel beter dan kop of munt.
- Eerste indruk. Uit onderzoek is gebleken dat de eerste indruk geen goede voorspellende waarde heeft over het functioneren van de kandidaat. Toch kent bijna de helft van de respondenten sterren toe, een kwart van de respondenten zelfs 4 of 5 sterren.
- Assessment Center Methode. Met een predictieve validiteit van 0,37 aanzienlijk minder valide dan arbeidsproeven (0,54), maar vaak wel een stuk duurder.
- Jaren werkervaring. Predictieve validiteit : 0,18
- Vragen over gedrag uit verleden. Dit werkt goed.
Naar slimmer selecteren
Zou HR-Nederland massaal overstappen op het invoeren van IQ-testen en gestructureerde interviews, dan zou dat moeten leiden tot een substantiele stijging van het aantal succesvolle matches. Waarom dat dan toch niet gebeurd, is een raadsel en roept de volgende vragen op: Waarom wordt bij personeelsselectie zo weinig gekozen voor het goedkope en effectieve instrument van de IQ-test? Hoe toetst HR achteraf of een selectieprocedure succesvol is geweest? In de HR benchmark 2019 3 staat de effectiviteit van het selectieproces niet als onderwerp van onderzoek voor people analytics. Waarom is dit voor HR geen vraagstuk? Voor een volgend blog zijn we op zoek naar HR-professionals die hier uit eigen ervaring iets over willen vertellen.
Dit blog is geschreven door Leontine van Gelderen en Maarten Freriks
Bronnen
1. Beschreven in deel I van dit blog
2. Beschreven in deel II van dit blog
3. De Raet HR Benchmark 2019 onderzoekt hoe werkend Nederland aankijkt tegen belangrijke HR-thema’s.
Proclaimer
Kennis is steeds in ontwikkeling. Theorieën worden gevormd, onderzocht, bevestigd en soms weer verworpen. Instrumenten en methoden worden ontwikkeld en in de praktijk en wetenschappelijk getoetst. Methoden en instrumenten op basis van ondeugdelijke theorieën, horen sowieso niet thuis in de praktijk van een professional die evidence based wil werken. Via deze serie blogs vatten we samen welke kennis wij op dit moment beschikbaar hebben over de instrumenten waar we mee werken. Een overzicht van de resultaten van ons speurwerk vind je op de gouden, groene en zwarte lijst voor coaching.
Maar ook wij maken fouten en missen soms nieuwe informatie. Klopt onze conclusie niet, of zien we bepaalde bronnen over het hoofd, dan horen we dat graag op blog@idplein.nl.
