Ter aanvaarding van mijn positie als hoogleraar ‘Economics of Education’, ofwel onderwijseconomie, sprak ik 20 mei 2021 mijn oratie “Samen werken aan goed onderwijs: benut die complementariteit” uit.  Ik deel deze via deze post. De hele oratie is ook hier terug te zien of als pdf hier te downloaden. In de pdf staat ook meer informatie over de gebruikte figuren in deze post.

Veranderende vraag naar vaardigheden

Onderwijs heeft een centrale rol in onze samenleving. Het is een motor voor economische ontwikkeling en groei. Het draagt bij aan een gezonde bevolking. Goed onderwijs voorziet leerlingen van alle leeftijden van de kennis en vaardigheden die ze nodig hebben voor hun ontwikkeling. De vraag naar de verschillende vaardigheden is veranderd over de tijd, bijvoorbeeld als gevolg van de technologische ontwikkeling. Computers en robots nemen met name routinematige taken op het werk over. Ze maken het werk niet alleen goedkoper, maar hebben ook een grotere precisie waardoor de kwaliteit van de productie toeneemt.¹ Recent zien we ook dat verschillende niet-routinematige taken overgenomen worden door computers, onder andere door de beschikbaarheid van grote databestanden en gebruik van artificiële intelligentie.²

Deze technologische ontwikkeling leidt enerzijds tot het verdwijnen van bepaalde taken, en anderzijds tot het ontstaan van nieuwe taken. Daarbij gaat het om taken waar de brede menselijke perceptie, creativiteit of sociale inzichten nodig zijn.³ Collega’s Didier Fouarge, Jim Allen, Barbara Belfi en Lex Borghans laten in hun onderzoek zien dat er een groei is van het aantal beroepen waarin probleemoplossend vermogen en digitale vaardigheden van belang zijn.⁴ Bij digitale vaardigheden gaat het onder andere om programmeren, de analyse van complexe databestanden, maar ook om de communicatie met anderen met behulp van technologie. Iets dat we enorm in belang hebben zien toenemen door de COVID-19 pandemie.

Ook andere type vaardigheden zijn van belang. Internationale collega’s Marion Spengler, Rodica Damian en Brent Roberts laten zien dat interesse tonen in school en je verantwoordelijk gedragen belangrijke voorspellers zijn voor succes op de arbeidsmarkt, naast factoren als goed kunnen lezen en schrijven, intelligentie, sociaaleconomische achtergrond en persoonlijkheid.⁵ Bij persoonlijkheid wordt vaak gewezen op het belang van openheid en zorgvuldigheid.⁶ Mensen die hoog scoren op openheid zijn vaak creatief, intellectueel nieuwsgierig en geïnteresseerd in nieuwe ervaringen en ideeën. Zorgvuldigheid verwijst naar de mate waarin iemand georganiseerd, gedisciplineerd en hardwerkend is, maar ook in hoeverre iemand verantwoordelijkheid neemt voor zijn eigen acties en gedrag. Emotionele stabiliteit speelt daarbij ook een belangrijke rol. Onderzoek laat zien dat mensen die emotioneel stabieler zijn, beter kunnen omgaan met onverwachte uitdagingen, zoals de huidige COVID-19 pandemie.⁷

Dit inzicht in het veranderende belang van verschillende type vaardigheden heeft ook gevolgen voor het onderwijs. In het onderwijs wordt veel aandacht besteed aan de ontwikkeling van een brede set vaardigheden bij leerlingen om hen goed uit te rusten voor een goede baan en een gezond en gelukkig leven. Er is de afgelopen tijd veel aandacht geweest voor de kwaliteit van het Nederlandse onderwijs. Daarbij wordt naast achterstanden die ontstaan zijn door de coronamaatregelen, ook gewezen op algemene vaardigheden waarop leerlingen tekortschieten, zoals taal- en leesvaardigheid, maar ook de mate van zelfregulatie, kritisch denken, samenwerken met anderen of omgaan met onzekerheid. Met een gegeven hoeveelheid tijd die leerlingen op school doorbrengen, betekent dit dat er keuzes gemaakt moeten worden in het aangeboden curriculum. Om die keuzes goed te kunnen maken is kennis en inzicht nodig over het belang van de diverse vaardigheden, maar ook over hoe deze op een goede manier te beoordelen en de ontwikkeling ervan te bevorderen.

Voor het verkrijgen van deze kennis en inzichten zijn in mijn ogen vier ingrediënten van groot belang:

1. Begrip van de theorie achter de rol en ontwikkeling van de verschillende vaardigheden.
2. Gebruik van goede data en gedegen empirische methoden om relevante relaties te testen.
3. Een multidisciplinaire benadering waarbij vanuit verschillende wetenschappelijke disciplines naar deze vaardigheden en de ontwikkeling ervan wordt gekeken.
4. Een gecombineerde blik vanuit het onderzoek en de onderwijspraktijk.

Door de complementariteit van deze vier ingrediënten te benutten, maar ook die van complementaire expertises daarbinnen, kun je werken aan een systematische verbetering van de relevante vaardigheden bij leerlingen. De vier ingrediënten staan centraal in de aanpak van het onderzoek binnen mijn leerstoel Economics of Education, ofwel onderwijseconomie. In mijn onderzoek onderscheid ik vier deeldomeinen:

1. Belang van verschillende vaardigheden in het onderwijs;
2. Verschillen in vaardigheden tussen groepen leerlingen;
3. Beoordeling van verschillende vaardigheden; en
4. Bevordering van verschillende vaardigheden.

Ik zal deze vier domeinen nu kort met voorbeelden toelichten.

Belang van verschillende vaardigheden in het onderwijs

Het eerste onderzoeksdomein waaraan ik komende jaren ga bijdragen is onderzoek naar welke vaardigheden van belang zijn in het onderwijs. Hiermee wil ik meer zicht krijgen op de rol die verschillende vaardigheden spelen op de korte en de lange termijn, en de verschillen daarin tussen onderwijsuitkomsten. Grofweg onderscheid ik daarbij drie verschillende typen vaardigheden:

• Cognitieve vaardigheden zoals lezen, schrijven, rekenen, maar ook probleemoplossend vermogen en digitale vaardigheden.
• Interpersoonlijke vaardigheden zoals samenwerken, communiceren, presenteren, leidinggeven en zorgend vermogen.
• Intrapersoonlijke vaardigheden, zoals de mate waarin iemand in staat is te reflecteren op het eigen gedrag en verantwoordelijkheid te nemen, zich aan te passen aan nieuwe omstandigheden, maar ook in staat is realistische verwachtingen te vormen en keuzes te maken.

Deze laatste twee type vaardigheden worden vaak samengevoegd tot sociaal-emotionele vaardigheden.

Onderzoek laat zien dat om goed te kunnen leren en presteren op school, leerlingen naast goed ontwikkelde cognitieve vaardigheden ook verschillende van deze sociaal-emotionele vaardigheden nodig hebben. Neem bijvoorbeeld de prestaties van leerlingen op toetsen, die een belangrijke rol in het onderwijs spelen. Om goed te kunnen presteren op een toets, heb je meer nodig hebt dan alleen voldoende kennis van het vak dat getoetst wordt. In de afgelopen decennia is veel onderzoek gedaan naar wat dan precies een rol speelt. Daarbij komen zaken naar voren zoals motivatie, persoonlijkheid, nieuwsgierigheid, en zelfcontrole.⁸

Samen met Lex Borghans bekijk ik patronen in toetsresultaten van leerlingen.⁹ Wat ons opviel is dat leerlingen aan het begin van de toets de vragen vaker goed maken dan aan het einde van de toets (zie figuur 1). Met andere woorden: de toetsprestaties dalen naarmate de toets vordert. Nu zou dit kunnen komen omdat de vragen moeilijker worden, maar dat is bij de toets die we voor ons onderzoek gebruiken, niet het geval. De verschillende vragen van de toets worden in verschillende volgordes aan leerlingen aangeboden. Dus waar de ene leerling een specifieke vraag als tweede vraag heeft, heeft een andere leerling deze bijvoorbeeld als zestiende vraag. De toewijzing van de verschillende vraagvolgordes aan leerlingen is willekeurig. Dat betekent dat de daling van de toetsprestaties niet wordt veroorzaakt door moeilijker wordende vragen. Maar waar is het dan wel aan gerelateerd?

Figuur 1: Verloop toetsprestaties gedurende een toets

Om hier zicht op te krijgen combineren we de toetsresultaten met informatie over persoonskenmerken van leerlingen. We zien dat de prestaties aan het begin van de toets gerelateerd zijn aan cognitieve vaardigheden, en het persoonlijkheidskenmerk openheid. De daling van de toetsprestaties gedurende de toets blijkt samen te hangen met andere kenmerken, namelijk de mate van zorgvuldigheid, meegaandheid en prestatiegerichtheid. Leerlingen die zorgvuldiger zijn, meer prestatiegericht of meer meegaand, laten een kleinere daling zien. Ze zijn beter in staat goed te blijven presteren dan andere leerlingen die minder hoog scoren op deze vaardigheden. Het is belangrijk goed te snappen welke aspecten een rol spelen, omdat het bepalend is voor de aanpak die je nodig hebt om leerlingen beter te laten presteren. Tekortschietende leerprestaties die het gevolg zijn van een gebrek aan kennis vragen immers om een andere aanpak dan tekortschietende leerprestaties die het gevolg zijn van sociaal-emotionele vaardigheden.

In het zoeken naar een aanpak voor tekortschietende leerprestaties is het ook belangrijk om naar langere termijn relaties te kijken tussen vaardigheden en onderwijsuitkomsten. Neem bijvoorbeeld voortijdig schoolverlaten, een belangrijke maatschappelijke uitdaging. Leerlingen die voortijdig, zonder diploma, de school verlaten, ervaren vaak grote problemen om een baan te vinden of te houden.¹⁰ Ze lopen een groter risico op het belanden in de criminaliteit, of het hebben van een ongezonde leefstijl.¹¹ Onder andere collega Mark Levels laat zien dat naast de sociaaleconomische achtergrond van leerlingen aspecten als gebrekkige veerkracht en lage of onrealistische verwachtingen daarbij een belangrijke rol spelen.¹²

In een onderzoek samen met Ron Diris en betrokkenen van gemeenten en scholen in het middelbaar onderwijs en mbo gingen we op zoek naar vroege indicatoren voor voortijdig schoolverlaten.¹³ We kijken daarbij terug in de tijd voor leerlingen die aan het einde van de middelbare school of in het begin van het MBO het onderwijs zonder startkwalificatie verlaten en zij die dat niet deden. Als we naar de schoolprestaties in groep 8 kijken, valt op dat de leerlingen die op latere leeftijd voortijdig schoolverlaten op de onderdelen taal en rekenen van de eindtoets basisonderwijs beter scoren dan de leerlingen die later niet voortijdig schoolverlaten (zie figuur 2). Met name bij rekenen scoren ze flink hoger. Op de intelligentie-toets doen beide groepen leerlingen het ongeveer even goed. Als we drie jaar later op de middelbare school opnieuw naar hun prestaties bij taal en rekenen kijken, zien we dat de latere voortijdig schoolverlaters het nu slechter doen. Blonken ze nog uit bij rekenen in groep 8, nu doen ze het ongeveer even goed als de andere leerlingen. Bij taal doen ze het nu fors slechter.

Figuur 2: Cognitieve leerprestaties op de basisschool en middelbare school van voortijdig schoolverlaters in vergelijking met andere leerlingen

Naast de schoolprestaties hebben we ook naar persoonlijkheidskenmerken gekeken. In groep 8 zien we dat de twee groepen al een verschillend beeld laten zien (zie figuur 3). De leerlingen die later voortijdig schoolverlaten scoren in groep 8 lager op zorgvuldigheid, meegaandheid, emotionele stabiliteit en doorzettingsvermogen. Ze scoren iets hoger op openheid en prestatiegerichtheid. Als we naar dezelfde kenmerken kijken in de derde van de middelbare school, zien we dat de latere voortijdig schoolverlaters nu fors lager scoren op zorgvuldigheid, prestatiegerichtheid en doorzettingsvermogen. Van met name zorgvuldigheid heb ik eerder al gewezen op het belang ervan voor een goede baan en een goede gezondheid. Opvallend is dat leerlingen die later voortijdig schoolverlaten nu hoger scoren op emotionele stabiliteit dan leerlingen die uiteindelijk wel een startkwalificatie halen.

Figuur 3: Persoonlijkheidskenmerken op de basisschool en middelbare school van voortijdig schoolverlaters in vergelijking met andere leerlingen

De resultaten leveren een aantal belangrijke en nog onbeantwoorde vervolgvragen op. Hoe komt die daling in taal en rekenen, maar ook in zorgvuldigheid, prestatiegerichtheid en doorzettingsvermogen? Wat betekent die hogere emotionele stabiliteit? Ook interacties tussen persoonlijkheidskenmerken kunnen daarbij overigens een rol spelen. Samen met Caroline Wehner laat ik bijvoorbeeld zien dat zorgvuldigheid een tegenwicht kan bieden aan de negatieve gevolgen van emotionele instabiliteit bij laagpresteerders in het onderwijs.¹⁴

Het onderzoek laat niet alleen zien dat we nog veel niet weten, maar het laat ook zien dat als je eind groep 8 alleen naar de cognitieve vaardigheden van leerlingen zou kijken, je niet persé leerlingen identificeert die risico lopen op schooluitval. Het is belangrijk meer zicht te krijgen op dergelijke relaties om te snappen wat leerlingen nodig hebben in de verschillende fasen van hun ontwikkeling en op basis daarvan goede keuzes te maken voor het aan te bieden curriculum. Daarnaast is het bestuderen van deze relaties van groot belang voor de identificatie van risicogroepen.

Verschillen in vaardigheden tussen groepen leerlingen

Dit brengt me op het tweede onderzoeksdomein: onderzoek naar verschillen tussen groepen leerlingen. Er is veel aandacht voor kansenongelijkheid in het onderwijs, onder andere in de overgang naar de middelbare school. Onderzoek laat zien dat het opleidingsniveau van ouders medebepalend is voor de selectie van het onderwijstype en succes van de leerling. Leerlingen met lager opgeleide ouders die gelijke cognitieve leerprestaties laten zien als anderen leerlingen, krijgen lagere schooladviezen, komen vaker in een lager onderwijstype in de eerste klas en stromen vaker af in de eerste jaren op de middelbare school.¹⁵

Kansenongelijkheid in het onderwijs is een complex probleem, waarbij een veelheid aan factoren een rol speelt. Er wordt onder meer gewezen op verschillen in zelfregulatie, motivatie of zelfvertrouwen van de leerlingen, die een rol spelen in de totstandkoming van het schooladvies of voor het leren op de middelbare school.¹⁶ Leerlingen maken in deze fase van hun leven ook ingrijpende fysieke en sociaal-emotionele ontwikkelingen door. Ze komen in een groeispurt en de pubertijd, waarbij sommigen onzeker worden en anderen juist meer zelfvertrouwen krijgen. Ze streven naar meer onafhankelijkheid en vormen hun eigen identiteit. Daarbij zoeken ze hun weg in hun relatie met volwassenen, gedragen zich soms opstandig, maar zijn ze vooral toch nog steeds afhankelijk en kwetsbaar en zijn heel gevoelig voor kritiek. Deze ontwikkelingen beïnvloeden de onderwijsprestaties van leerlingen.¹⁷ Diverse studies wijzen daarbij op het belang van de invloed van relaties die leerlingen hebben met hun vrienden, klasgenoten, leraren en familie.¹⁸ In een studie met Franziska Schwabe en Roxanne Korthals laat ik bijvoorbeeld zien dat het hebben van goede relaties met leraren bijdraagt aan het zelfbeeld van leerlingen op de middelbare school.¹⁹ Collega Bart Golsteyn zal morgen in zijn oratie vast meer vertellen over de rol die de persoonlijkheid van studiegenoten speelt voor leerprestaties in het hoger onderwijs.²⁰

Ook verwachtingen kunnen een belangrijke rol spelen bij verschillen in onderwijsprestaties. Samen met studenten Liza Gordin en Elke Claes heb ik gekeken naar leerlingen die in 3 havo of vwo zitten en in potentie naar het hoger onderwijs kunnen doorstromen.²¹ We maken daarbij onderscheid tussen leerlingen die ouders hebben die zelf een diploma van het hoger onderwijs hebben en ouders die dat niet hebben. Als we kijken naar de gemiddelde toetsscores voor deze leerlingen op het havo en vwo, zien we dat ze het ongeveer even goed doen (zie figuur 4).

Figuur 4: Cognitieve leerprestaties van leerlingen in 3-havo/vwo in relatie tot het opleidingsniveau van hun ouders

Als we leerlingen en ouders vragen naar de inschatting voor het behalen van een diploma van het hoger onderwijs zien we interessante verschillen. Leerlingen zelf schatten de kans op een diploma van het hoger onderwijs hoog in en we zien daar geen verschillen tussen leerlingen die ouders hebben met een diploma van het hoger onderwijs en leerlingen met ouders die dat niet hebben (zie figuur 5). Ouders hebben lagere verwachtingen, maar interessanter is het verschil tussen ouders die een hoger onderwijs diploma hebben en ouders die dat niet hebben. Deze laatste groep heeft significant lagere verwachtingen, ondanks dat de leerlingen gelijke prestaties laten zien. Dit verkennend onderzoek roept veel vragen op. Wat speelt hier? Er zijn bijvoorbeeld studies die wijzen op het belang van verschillen in het verkrijgen en verwerken van informatie, of het omgaan met onzekerheid.²² Wat kunnen we hieraan doen? De komende jaren zal ik samen met Bart Golsteyn en Giulia Piccillo Brian Korthout gaan begeleiden die dit vraagstuk verder gaat uitdiepen in zijn promotieonderzoek.

Figuur 5: Toekomstverwachtingen van leerlingen in 3-havo/vwo en hun ouders in relatie tot het opleidingsniveau van hun ouders

Het goed snappen van de redenen voor verschillen tussen groepen leerlingen is cruciaal voor de identificatie van risicogroepen, voor het bepalen welke ondersteuning zij precies nodig hebben en voor de verkleining van ongewenste ongelijkheid in het onderwijs. Daarbij is het belangrijk om naar de rol van en interactie tussen de verschillende typen vaardigheden te kijken en niet alleen naar cognitieve vaardigheden. Een ander belangrijk aspect is kennis over hoe de vaardigheden gemeten kunnen worden en de rol van specifieke eigenschappen van verschillende meetinstrumenten. Dat brengt me op het derde onderzoeksdomein in mijn leerstoel: onderzoek naar de beoordeling van de verschillende vaardigheden.

Beoordeling van vaardigheden

Om te beoordelen of leerlingen weten wat ze zouden moeten weten en welke leerlingen boven- of onder gemiddeld presteren, worden in het onderwijs vooral toetsen gebruikt. Daarbij worden verschillende soorten toetsen gebruikt. Een leraar neemt vaak proefwerken af die hij of zij zelf gemaakt heeft. Deze geven hem inzicht in hoeverre een leerling de aangeboden leerstof beheerst. Hierbij kunnen alleen leerlingen binnen die klas met elkaar worden vergeleken. Ook worden methode-gebonden toetsen gebruikt die meestal vormgegeven zijn door het bedrijf dat de methode ontwikkelt. Er is dan vaak ook een vergelijking mogelijk met andere scholen die dezelfde methode hanteren.

Naast deze meer specifieke toetsen, worden ook algemenere, gestandaardiseerde toetsen gebruikt. Deze zijn buiten de school of de methode-aanbieder ontwikkeld en zijn voor alle scholen hetzelfde. Deze toetsen geven een beeld van hoe de leerling het gemiddeld genomen doet op een bepaald vakgebied, zoals taal of rekenen, en geven een signaal of de leerling op koers ligt voor de leerdoelen die voor het onderwijs zijn bepaald. Met behulp van deze toetsen zijn vergelijkingen mogelijk met een landelijk gemiddelde en kunnen vergelijkingen met het verleden worden gemaakt. Deze toetsen zijn ook nuttig om de prestaties van scholen met elkaar te vergelijken, of informatie aan te ontlenen voor kwaliteitsverbeteringen in het onderwijs.²³

Door systematisch gestandaardiseerde toetsen af te nemen die bedoeld zijn voor het leerjaar waarin de leerling zich bevindt, is het mogelijk om te kijken of een leerling onder of boven zijn verwachte prestatieniveau zit. Ook kunnen ontwikkelingen tussen vakgebieden worden vergeleken. Op basis daarvan kan gekeken worden waarop extra ingezet moet worden in de ontwikkeling van de leerling. In welke richting moet de leerling zich ontwikkelen en waar moet ie op een bepaald moment zijn? Wat is er nodig om hem naar het doel te brengen? Het is steeds gebruikelijker om dit samen met de leerling te doen. Dit formatief evalueren geeft leraar en leerling inzicht in het leerproces, niet alleen in de leerresultaten. Samen met collega Sylvia Heeneman begeleid ik Lars Goertzen, een leerkracht groep 7 die voor zijn promotietraject formatief evalueren in het basisonderwijs implementeert en onderzoekt. Samen met andere leraren ontwikkelt hij hiervoor een aanpak die past bij de leerlingen van deze leeftijd.²⁴

Een leerling betrekken bij het evalueren van zijn eigen leerproces past bij het ontwikkelen van zelfregulatie, dat veel wordt genoemd als het gaat om vaardigheden die in het onderwijs belangrijk zijn. Zelfregulatie gaat om het vermogen om je eigen gedrag te reguleren en te sturen, zoals het stellen van haalbare doelen of formuleren van realistische verwachtingen. Het gaat ook om jezelf aanpassen aan nieuwe omstandigheden, en omgaan met onzekerheid of tegenslagen. Collega Anique de Bruin laat zien dat zelfregulatie een belangrijke factor is voor een goede ontwikkeling van studenten in het hoger onderwijs.²⁵ Andere studies laten zien dat het stimuleren van zelfregulerend leren ook bij jongere leerlingen bij kan dragen aan goede schoolprestaties en motivatie.²⁶

Terugdenkend aan mijn eigen schoolrapporten kwam de beoordeling van dit soort vaardigheden meer impliciet aan bod in de opmerkingen die de juf of meester in de kanttekening had geschreven. Ik zie daar uitspraken staan als “Trudie doet erg goed haar best”, maar ook “Trudie mag zich iets meer concentreren en rustiger werken”. Als ik nu de rapporten van mijn neefje Kaja bekijk die hij op de basisschool kreeg, staan naast de cognitieve vaardigheden concrete sociaal-emotionele vaardigheden genoemd, zoals samenwerken, verantwoordelijkheid nemen, omgaan met emoties, zelfvertrouwen en omgaan met andere leerlingen en met leraren. Deze worden expliciet door de leraar meegenomen in het oordeel over het functioneren van een leerling.

De beoordeling van deze vaardigheden wordt niet gedaan met een toets, maar de leraar vormt zijn of haar oordeel. Onderzoek met verschillende collega’s, waaronder Eva Feron en Bas ter Weel, maar ook onderzoek van anderen, laat zien dat de inschatting van leraren voorspellende waarde heeft voor de verdere leerontwikkeling van leerlingen, ook in het vervolgonderwijs.²⁷ Deze inschatting is overigens, net zoals een toetsresultaat, niet perfect. Leerprestaties van laagpresteerders, jongens, etnische minderheden, of leerlingen uit gezinnen met een lage sociaaleconomische achtergrond worden vaker onderschat door leraren in vergelijking met de werkelijke leerprestaties die leerlingen laten zien.²⁸

Verschillen tussen ingeschatte en werkelijke leerprestaties van leerlingen kunnen onder andere voortkomen uit expliciete of impliciete stereotypen, uit een voorzichtige houding bij leraren, maar ook uit de context waarin de leerling wordt beoordeeld. Voor een onderzoek samen met onder andere Jessika Golle onderzocht ik de literatuur over het oordeel van leraren in relatie tot hoogbegaafdheid.²⁹ Als leraren gevraagd wordt naar hun algemene typering van hoogbegaafdheid, wordt naast hoogpresteren nadrukkelijk gewezen op de kwetsbaarheid van hoogbegaafde leerlingen. Leraren geven aan dat hoogbegaafdheid voor hen gepaard gaat met lagere emotionele stabiliteit, gedragsproblemen in de klas en tekortschietende sociale vaardigheden. Als leraren wordt gevraagd welke leerlingen hoogbegaafd zijn in het kader van voordracht voor een verrijkingsprogramma, valt op dat het met name de hoogpresterende, en juist sterkere leerlingen zijn die worden aangemerkt als hoogbegaafd. De vraag rijst of leerkrachten wellicht al impliciet de kans op succes in zo’n programma meewegen in de beslissing een leerling te typeren als hoogbegaafd of niet. Ze maken een inschatting over de sociaal-emotionele vaardigheden van leerlingen die daarbij van belang zijn. Dergelijke factoren spelen wellicht ook een rol bij de eerdergenoemde lagere schooladviezen voor leerlingen met lager opgeleide ouders.

Het is onduidelijk hoe het oordeel van de leraar over de sociaal-emotionele vaardigheden tot stand komt, of wat het precies betekent. Gezien het groeiend belang van deze vaardigheden, is een goede inschatting echter cruciaal. Leraren geven aan vaak op basis van intuïtie te handelen: “die redt het wel”. De intuïtieve aanpak biedt echter geen basis om gestructureerd na te denken over de ontwikkeling van de leerling. Soms wordt gebruik gemaakt van beschikbare meetinstrumenten. Leraren worden daarbij gevraagd ‘kenmerkend gedrag’ te beschrijven van leerlingen, en de vraag is wat dit zegt in termen van validiteit of in relatie tot de competentie van de leerling.³⁰ Wat is het gedrag dat leerlingen op bepaalde leeftijden zouden moeten laten zien? Welke norm wordt gehanteerd? Wat maakt het verschil tussen “goed” en “zeer goed”? Bedoelt elke leraar hetzelfde met “goed”? De beoordeling verschilt niet alleen tussen leraren, maar een leraar kan de weging van verschillende factoren in het oordeel ook anders toepassen bij verschillende leerlingen. Deze verschillen zijn soms terecht, maar soms ontstaan er ook ongewenste of onbewuste verschillen.

Binnen mijn leerstoel zal ik bijdragen aan onderzoek naar hoe het oordeel van leraren over de vaardigheden van leerlingen tot stand komt en wat dit betekent. Om vervolgens leraren concrete handvaten te geven in hun beoordeling van de sociaal-emotionele vaardigheden van leerlingen, is als onderdeel van mijn leerstoel, een bijzondere leerstoel ingericht (0,2 fte), gefinancierd door Stichting Solberg-Verlinden en gefaciliteerd door het Universiteitsfonds Limburg.

De heer Wiel Solberg begon als leerkracht op een basisschool, werd daarna wiskundeleraar in het middelbaar onderwijs en daarna rector van een lyceum in Eindhoven. In 1968 was hij de eerste directeur van het CITO, het Centraal Instituut voor Toetsontwikkeling, en hij bleef dit tot 1983. Solberg had een enorme belangstelling voor meten en registreren van leerprestaties en was aanhanger van psycholoog Adriaan De Groot, de grondlegger van de citotoets.³¹ Samen met zijn vrouw Toos Verlinden richtte hij in 1994 de Stichting Solberg-Verlinden op, met als doel vernieuwingen in toetsing en beoordeling van leerlingen te stimuleren. Solberg had grote invloed op ontwikkelingen in de Nederlandse onderwijswereld op het terrein van de objectivering van leerprestaties van leerlingen.³² Op dat gedachtengoed borduurt de bijzondere leerstoel voort, nu expliciet op het terrein van de beoordeling van de sociaal-emotionele vaardigheden van leerlingen.

In 1970 deed Solberg een mooie uitspraak, weliswaar ten aanzien van de objectieve beoordeling van cognitieve leerprestaties, maar ook heel interessant in dit kader³²:

“Men heeft met de term objectief vaak iets absoluuts op het oog: een objectiviteit in absolute zin. De Groot spreekt in zijn ‘Methodologie’ over een ‘algemene objectiviteitseis, die volgens hem inhoudt dat de onderzoeker zo objectief moet handelen als in zijn vermogen ligt, dat wil zeggen zonder dat persoonlijke opinies, preferenties, waarnemingswijzen, opvattingen, belangen, en sentimenten daarbij interfereren of zelfs kunnen interfereren. In deze omschrijving ziet men duidelijk dat van een algemene objectiviteitseis alleen maar sprake kan zijn voor zover die in het vermogen van de onderzoeker ligt. Het is duidelijk dat ik liever spreek over objectivering dan over objectiviteit. Bij objectivering gaat het om het uitschakelen van storende factoren. Juist waar het aantal storende factoren zo groot is, zal het ons nooit lukken ze allemaal te elimineren …”.

Het concrete doel van de bijzondere leerstoel is het vinden of ontwikkelen van instrumenten die de leraar faciliteren om op een eenvoudig hanteerbare manier zijn subjectieve beoordeling van de sociaal-emotionele vaardigheden van leerlingen in de leeftijd van 10-14 jaar te objectiveren. Ik zal dit samen met leraren doen omdat de instrumenten voor hen bruikbaar moeten zijn in de dagelijkse onderwijspraktijk. Tegelijkertijd moeten de instrumenten valide zijn, waarbij wordt gewerkt met een heldere norm die oordelen tussen leraren en leerlingen vergelijkbaar maakt.

Het beoogde instrumentarium past in het beoordelingsjargon van leraren, en functioneert als een eigen standaard die breed herkenbaar is. Hiermee kan het ook worden ingezet in de ontwikkeling van de leerling, niet alleen door de eigen leraar, maar ook door andere betrokkenen binnen en buiten de school en in het vervolgonderwijs. Het instrumentarium ondersteunt daarmee ook de beoordeling van de effectiviteit van interventies gericht op de sociaal-emotionele vaardigheden van leerlingen. Daarmee kom ik op het vierde en laatste onderzoeksdomein binnen mijn leerstoel: hoe kunnen de verschillende vaardigheden van leerlingen bevorderd worden?

Bevordering van verschillende vaardigheden

Met het onderzoek in mijn leerstoel wil ik actief bijdragen aan evidence-informed werken in het onderwijs. In de afgelopen jaren is het aantal interventies of programma’s in het kader van sociaal-emotioneel leren flink gegroeid.³³ Voor de ontwikkeling van de verschillende vaardigheden van leerlingen kan het nemen van een bestaande interventie een goede keuze zijn. Het is echter niet altijd duidelijk of de gerapporteerde effectiviteit ook voor de eigen context mag worden verwacht. Zo zijn veel programma’s in andere landen ontwikkeld binnen een ander onderwijssysteem. Ook moet de gerapporteerde effectiviteit in relatie worden gezien tot de specifieke aspecten van de studies. Soms zijn interventies ontwikkeld voor bepaalde groepen, bijvoorbeeld leerlingen die concrete problemen laten zien. In andere gevallen zijn ze juist ontwikkeld voor alle leerlingen van een bepaalde leeftijd. Tot slot zijn de instrumenten die gebruikt zijn om het programma inhoudelijk vorm te geven of de effectiviteit ervan te meten, niet altijd direct toepasbaar in onze scholen.

Het is belangrijk de tijd te nemen om de interventie aan te passen aan de eigen context, waarbij naast het concrete probleem, de doelen goed voor ogen gehouden moeten worden. Er moet aandacht zijn voor een goede monitoring en methodologische aanpak, zodat er valide uitspraken gedaan kunnen worden over de gevonden resultaten en keuzes kunnen worden gemaakt voor vervolgstappen. In mijn onderzoek wil ik niet alleen bijdragen aan kennis over wát werkt, maar vooral aan kennis over waarom iets werkt en onder welke condities.³⁴ Daartoe is onder andere uitgebreide informatie over de context van de interventie nodig.

Samen met Carla Haelermans begeleid ik Mélanie Monfrance die promotieonderzoek doet naar de effectiviteit van initiatieven die scholen ondernemen voor leerlingen in de overgang naar de middelbare school. Daarbij kijken we vooral naar interventies die gericht zijn op de ontwikkeling van de sociaal-emotionele vaardigheden en de bevordering van kansengelijkheid. De initiatieven verschillen onderling sterk qua opzet en variëren van proeflessen in de brugklas tot een echte tienerschool. Naast metingen om de voortgang van leerlingen te kunnen volgen, gaat veel aandacht uit naar het in kaart brengen van wat er precies wordt gedaan in de verschillende initiatieven en wat de doelen zijn. Deze informatie is cruciaal om te snappen wat werkt, waarom, en onder welke condities. We zijn daarvoor dus vooral veel in gesprek met betrokkenen van de initiatieven.

Aanpak onderzoek binnen leerstoel Onderwijseconomie

Hiermee kom ik op de aanpak van het onderzoek in mijn leerstoel. De voorbeelden die ik heb gebruikt, maken duidelijk dat we al wel een en ander weten van de verschillende vaardigheden en de invloed daarvan op de ontwikkeling van leerlingen, maar nog veel ook niet. Ze maken ook duidelijk dat het niet gaat om eenvoudige puzzels. Om echt grip te krijgen op de mechanismen, en te komen tot effectieve interventies is samenwerking nodig, en moet de complementariteit van expertises worden benut. In mijn leerstoel zoek ik die samenwerking actief op.

Ik vertrek daarbij vanuit de onderwijseconomie. Je zou kunnen zeggen dat de onderwijseconomie zich momenteel in de derde generatie bevindt. Eind jaren vijftig kwam er meer aandacht in de economie voor het belang van investeringen in menselijk kapitaal. Daarmee werd gewezen op het belang van de ontwikkeling van kennis en vaardigheden die bijdroegen aan economische groei en het terugdringen van armoede. De vragen die in deze eerste generatie van de onderwijseconomie werden onderzocht, waren vooral van theoretische aard. Waarom en hoeveel investeren mensen in onderwijs? Welke relatie is er tussen deze investeringen en hun inkomen of economische groei? Zijn de investeringen optimaal, voor het individu, en voor de samenleving? Gary Becker schreef in de jaren zestig als eerste een formeel model voor de studie van menselijk kapitaal.³⁵ Zijn uitgangspunt was dat de ontwikkeling van vaardigheden gezien moet worden als een investering, waarbij individuen keuzes maken.

In de jaren negentig volgde de tweede generatie onderwijseconomie, die juist heel empirisch van aard was. Economen hielden zich bezig met de vraag hoe de investeringen in onderwijs en de opbrengsten daarvan goed te meten.³⁶ Daarbij ging het om zowel de financiële als andere opbrengsten, op individueel en op geaggregeerd niveau. Expliciete aandacht ging uit naar aspecten van het meten en het trekken van een juiste conclusie. Zo lieten ze zien dat het vergelijken van de opbrengsten van onderwijs tussen groepen die verschillen in de mate waarin zij daarin investeren veelal leidt tot een overschatting van de effecten. Groepen mensen zijn niet zonder meer vergelijkbaar met elkaar, en gevonden verschillen kunnen worden veroorzaakt door andere verschillen dan het gevolgde onderwijs. Causale relaties werden onderzocht met behulp van experimenten, waaronder natuurlijke experimenten zoals beleidswijzigingen, of met behulp van geavanceerde methodologische technieken.

Recent onderzoek in de onderwijseconomie brengt de theoretische benadering van de eerste generatie samen met de empirische gedegenheid van de tweede generatie. Studies uit die tweede generatie lieten interessante verschillen zien in de investeringen in en opbrengsten van onderwijs, die om een aanpassing van de theoretische modellen uit de eerste generatie vroegen. Een voorbeeld is het inzicht dat cognitieve vaardigheden niet de enige voorspeller zijn van latere uitkomsten, maar dat sociaal-emotionele vaardigheden ook een rol spelen. Dit heeft geleid tot nieuwe vormen van de theorie van het menselijk kapitaal, waarin deze vaardigheden ook worden opgenomen als factor in de productiefunctie in de verklaring van allerlei uitkomsten zoals arbeidsparticipatie en economische groei.³⁷ Tegelijkertijd groeide het inzicht dat voor het leveren van gedegen empirisch bewijs geschikte en uitgebreide data nodig zijn uit de onderwijspraktijk.³⁸ Er wordt veel aandacht besteed aan de studie van meetinstrumenten, zoals toetsen, en wat deze nu precies meten.³⁹ Daarnaast wordt ingezet op onderwijsexperimenten samen met onderwijspartners.⁴⁰

Mijn onderzoek bevindt zich binnen deze derde generatie van de onderwijseconomie en leunt daarbij op de vier ingrediënten die ik eerder kort noemde.

Theorievorming is het eerste ingrediënt. In mijn onderzoek grijp ik terug op bestaande theoretische modellen en wil ik een bijdrage leveren aan de aanscherping daarvan gericht op het inzicht rondom de ontwikkeling en het belang van de verschillende vaardigheden voor verschillende uitkomsten. Ik ben met name geïnteresseerd in de rol van sociaal-emotionele vaardigheden, maar ook die van verwachtingen en overtuigingen in de keuzes voor investeringen in onderwijs en de opbrengsten daarvan.

Tweede ingrediënt is de kritische kijk op en ontwikkeling van goede data en gebruik van gedegen empirische methoden. In mijn onderzoek zal ik steeds de vraag blijven stellen of we wel meten wat we beogen te meten en welke andere factoren van invloed zijn op de metingen. Zoals bijvoorbeeld de bijdrage aan het instrumentarium voor leraren om op een goede manier sociaal-emotionele vaardigheden van leerlingen in kaart te brengen. Dit geeft leraren de juiste informatie die ze nodig hebben om keuzes te maken, en helpt het onderzoek om de relatie met andere vaardigheden en uitkomsten betrouwbaar in beeld te brengen.

Derde ingrediënt is de multidisciplinaire samenwerking. Onderzoek naar de ontwikkeling en het belang van de verschillende vaardigheden vraagt bijvoorbeeld om samenwerking met psychologen. Voor de studie naar de verkleining van kansenongelijkheid is het sociologisch perspectief relevant. Ook is het onderwijskundig perspectief van belang om de link met het didactisch handelen in de klas te leggen. Daarnaast zal ik voor het onderzoek in de bijzondere leerstoel samenwerking zoeken met psychometristen, die kennis hebben van de constructie van valide meetinstrumenten. In mijn voorbeelden van lopend onderzoek noemde ik verschillende namen en deze mensen zijn lang niet allen econoom. Onder hen zitten sociologen, psychologen, onderwijskundigen en gezondheids-wetenschappers. Ik heb al heel veel geleerd, en genoten, van deze samenwerkingen en blijf deze daarom actief opzoeken. Dergelijke samenwerkingen zijn overigens niet vanzelfsprekend en je moet ook tijd investeren in het leren spreken van elkaars taal. Soms bedoelen we dezelfde dingen maar gebruiken we andere termen, maar soms bedoelen we ook echt andere dingen. Het is belangrijk om elkaar te snappen.

Vierde ingrediënt is de samenwerking met de onderwijspraktijk. Er wordt veel gesproken over de soms moeizame relatie tussen onderwijsonderzoek en onderwijspraktijk.⁴¹ Onderwijsprofessionals geven aan niet altijd toegang te hebben tot onderzoeksresultaten en ervaren vaak een gebrekkige toepasbaarheid van onderzoek in de praktijk. Onderzoekers zijn op zoek naar generaliseerbare kennis en laten zich daarbij niet altijd leiden door vraagstukken uit de directe onderwijspraktijk. Maar ook als dat wel gebeurt, is de vertaalslag van onderzoek naar concrete handvaten voor onderwijsprofessionals lastig. Het ontbreekt vaak aan tijd en prikkels om zich goed te verdiepen in elkaars behoefte en perspectief.⁴² De laatste jaren zien we een groei van samenwerkingen tussen onderzoek en onderwijspraktijk, variërend van kortdurende partnerschappen die zich richten op concrete didactische vraagstukken of meer duurzame samenwerkingen waar bredere uitdagingen samen worden opgepakt.⁴³

Een voorbeeld van zo’n duurzame samenwerking is de Educatieve Agenda Limburg, die in 2014 is gestart door samenvoeging van lopende initiatieven. Het is een kennisnetwerk waarin betrokkenen van het primair onderwijs tot en met het hoger onderwijs en de Provincie Limburg zijn vertegenwoordigd. De Educatieve Agenda Limburg heeft een belangrijke rol in het verbinden van partners, ook buiten het huidige netwerk, en maakt inzichtelijk welke interventies succesvol zijn in het leveren van bijdragen aan de uitdagingen waar het Limburgse onderwijs voor staat. Centraal staat de dialoog tussen betrokkenen, bijvoorbeeld in leergemeenschappen, om samen de uitdaging scherp te krijgen of te snappen welke mechanismen een rol spelen. Belangrijk uitgangspunt in de samenwerking is dat voor veel succesvolle innovaties in het onderwijs niet louter vanuit één onderwijssector gedacht kan worden, en ook niet alleen vanuit het onderwijs zelf. De ontwikkeling van leerlingen moet worden bezien vanuit een systemisch perspectief, waarbij de leerling niet los kan worden gezien van de interactie met zijn sociale omgeving. Dit maakt opnieuw duidelijk dat de complementaire kennis van de verschillende expertises en disciplines nodig is om de ontwikkeling van leerlingen op een effectieve manier te stimuleren. Dit maakt het natuurlijk wel complex en vereist dat je stap voor stap samen ontdekt wat en wie er nodig is voor die ontwikkeling. Binnen mijn leerstoel wil ik samen ook inzoomen op de processen van de samenwerking tussen onderzoek en praktijk in het onderwijs en bijdragen aan de kennis hierover.

Want onderzoek, en daarbij ook monitoring, is één van de centrale pijlers waarop het kennisnetwerk van de Educatieve Agenda Limburg is gebouwd. Om een goed beeld te kunnen vormen van de gezamenlijke uitdagingen is het, naast de genoemde dialoog en kennisdeling, van belang om systematisch, en niet ad hoc of tijdelijk, brede gegevens te verzamelen over de ontwikkeling van leerlingen. We doen dit al ruim tien jaar met behulp van de OnderwijsMonitor Limburg, waarin gegevens over de cognitieve en sociaal-emotionele ontwikkeling van leerlingen worden samengebracht en hiaten in die gegevens worden aangevuld met aanvullende dataverzameling. Eerdergenoemde belemmeringen van gebruik van onderzoek in de dagelijkse onderwijspraktijk spelen ook met betrekking tot gebruik van data in het onderwijs. Door middel van samenwerking met het onderwijsveld, wil ik bijdragen aan efficiënt gebruik van data door leraren en andere onderwijsprofessionals. Samen bepalen welke informatie nodig is, nagaan of bestaande instrumenten volstaan en daar waar nodig aanvullende instrumenten ontwikkelen. Naast informatie over leerlingen, is bijvoorbeeld ook informatie over leraren nodig, om een relatie te kunnen leggen tussen het opleiden en professionaliseren van leraren en de ontwikkeling van leerlingen. De doorontwikkeling van een langlopende brede monitor die aansluit bij de verschillende behoeften, ondersteunt onderwijsverbeteringen, voorkomt dubbele gegevens-verzameling en faciliteert een vergelijking in de regio, ook door de tijd. Het voorbeeld over voortijdig schoolverlaten dat ik eerder noemde, maar ook de informatiebehoefte door de recente COVID-19 pandemie, geeft aan hoe waardevol dit kan zijn, omdat het inzichten oplevert die je met ad hoc metingen of individuele schooldata, niet naar boven haalt.

Kortom, met het onderzoek in mijn leerstoel zoek ik dus actief de complementaire expertises op van onderzoekers van andere disciplines en van partners uit het onderwijsveld om met behulp van wetenschappelijke theorie en geschikte empirische data inzicht te krijgen op de vraagstukken rondom de verschillende vaardigheden die leerlingen nodig hebben. Op die manier wil ik wetenschap, beleid en praktijk verder helpen in de ontwikkeling naar een duurzame en inclusieve kenniseconomie.

Noten

¹Autor, David. 2013. The task approach to labor markets: An overview. Journal of Labour Market Research, 46 (3): 185-199. / Autor, David, Frank Levy, & Richard Murnane. 2003. The skill content of recent technological change: An empirical exploration. Quarterly Journal of Economics, 118 (4): 1279-1333.

²Brynjolfsson, Erik, Tom Mitchell, & Daniel Rock. 2018. What can machines learn, and what does it mean for occupations and the economy? AEA Paper Proceedings, 108, 43–47. / Cohn, Jonathan. 2013. The robot will see you now. The Atlantic, February 20.

³Frey, Carl & Michael Osborne. 2013. The future of employment: How susceptible are jobs to computerisation. Working paper Oxford Martin Programme on Technology and Employment, University of Oxford.

⁴Allen, Jim, Barbara Belfi, & Lex Borghans. 2020. Is there a rise in the importance of socioemotional skills in the labor market? Evidence from a trend study among college graduates. Frontiers in Psychology, 11 (1710), 1-13. / Borghans, Lex, Bas Ter Weel, & Bruce Weinberg. 2014. People skills and the labor market outcomes of underrepresented groups. Industrial and Labor Relations Review, 67 (2), 287-334. / Fouarge, Didier. 2017. Veranderingen in werk en vaardigheden. Inaugurele rede. Maastricht University. 

⁵Spengler, Marion, Rodica Damian, & Brent Roberts. 2018. How you behave in school predicts life success above and beyond family background, broad traits, and cognitive ability. Journal of Personality and Social Psychology, 114 (4), 620-636.

⁶Kautz, Tim, James Heckman, Ron Diris, Bas Ter Weel, & Lex Borghans. 2014. Fostering and measuring skills: Improving cognitive and non-cognitive skills to promote lifetime success. NBER Working paper no. 20749. (revised in 2017). Cambridge: NBER. / Roberts, Brent, Nathan Kuncel, Rebecca Shiner, Avshalom Caspi, & Lewis  Goldberg. 2007. The Power of personality: – The comparative validity of personality traits, socioeconomic status, and cognitive ability for predicting important life outcomes. Perspectives on Psychological Science, 2 (4), 313-345.

⁷Aschwanden, Damaris, Jason Strickhouser, Amanda Sesker, Ji Hyun Lee, Martina Luchetti, Yannick Stephan, Angelina Sutin, & Antonio Terracciano. 2020. Psychological and behavioural responses to Coronavirus disease 2019: The role of personality. European Journal of Personality, 35 (1), 51-66. / Asselmann, Eva, Lex Borghans, Raymond Montizaan, & Philipp Seegers. 2020. The role of personality in the thoughts, feelings, and behaviors of students in Germany during the first weeks of the COVID-19 pandemic. PLoS ONE, 15 (11), 1-14. / Connor-Smith, Jennifer, & Celeste Flachsbart. 2007. Relations between personality and coping: A meta-analysis. Journal of Personality and Social Psychology, 93 (6), 1080-1107. / Iterbeke, Kaat, & Kristof De Witte. 2020. Helpful or harmful? The role of personality traits in student experiences of the COVID-19 crisis and school closure. Department of Economics KU Leuven Working Paper DPS 20.19. / Kroencke, Lara, Katharina Geukes, Till Utesch, Niclas Kuper, & Mitja Back. 2020. Neuroticism and emotional risk during the COVID-19 pandemic. Journal of Research in Personality, 89 (104083). 

⁸Cornwell, Christopher M., David Mustard, & Jessica Van Parys. 2013. Noncognitive skills and the gender disparities in test scores and teacher assessments: Evidence from primary school. Journal of Human Resources. 48 (1), 236-264. / Duckworth, Angela Lee, Patrick Quinn, Donald Lynam, Rolf Loeber, & Magda Stouthamer-Loeber. 2011. Role of test motivation in intelligence testing. Proceedings of the National Academy of Sciences of the United States of America, 108 (19), 7716-7720. / Eklof, Hanna. 2007. Test-taking motivation and mathematics performance in TIMSS 2003. International Journal of Testing 7 (3), 311-327. / Golsteyn, Bart, & Trudie Schils. 2014. Gender gaps in primary school achievement: A decomposition into endowments and returns to IQ and non-cognitive factors. Economics of Education Review, 41, 176-187. / Spinath, Birgit, Harald Freudenthaler, & Aljoscha Neubauer. 2010. Domain-specific school achievement in boys and girls as predicted by intelligence, personality and motivation. Personality and Individual Differences, 48, 481-486.

⁹Borghans, Lex, & Trudie Schils. 2018. Decomposing achievement test scores into measures of cognitive and noncognitive skills, SSRN Working Paper Series.

¹⁰Van der Steeg, Mark, & Dinand Webbink. 2006. Voortijdig schoolverlaten in Nederland: omvang, beleid en resultaten. CPB Discussiepaper no. 107, Den Haag, Centraal PlanBureau.

¹¹Ter Bogt, Tom, Maurice van Lieshout, Suzan Doornwaard, & Yke Eijkemans. 2009. Middelengebruik en voortijdig schoolverlaten. Twee onderzoeken naar de actuele en gepercipieerde rol van alcohol en cannabis in relatie tot spijbelen, schoolprestaties, motivatie en uitval. Trimbos-instituut, Utrecht.

¹²Dicks, Alexander, Mark Levels, & Rolf van der Velden. 2020. From school to where? How social class, skills, aspirations, and resilience explain unsuccessful school-to-work transitions. Maastricht University, Graduate School of Business and Economics. GSBE Research Memoranda No. 013.

¹³Diris, Ron, & Trudie Schils. 2017. Voortijdig schoolverlaten in Zuid-Limburg: analyse van risicofactoren. Onderzoeksrapport Educatieve Agenda Limburg in opdracht van Stichting SVOPL, Heerlen.

¹⁴Wehner, Caroline, & Trudie Schils. 2021. Who are the low educational achievers? An analysis in relation to gender, emotional stability and conscientiousness. Applied Economics, forthcoming.

¹⁵Diris, Ron, Lex Borghans, & Trudie Schils. 2017. Citoscore en schooladvies: verschillen verklaard. Webtijdschrift Educatieve Agenda Limburg, januari 2017. / Dronkers, Jaap, & Roxanne Korthals. 2016. Tracking in the Netherlands – Ability selection or social reproduction? In: Blossfeld, Hans-Peter, Sandra Buchholz, Jan Skopek, & Moris Triventi, (eds.), Models of Secondary Education and Social Inequality – An International Comparison, pp. 149–165, Edward Elgar Publishing, Cheltenham (UK). / Korpershoek, Hanke, Carien Beijer, Marinda Spithoff, Harm Naaijer, Anneke Timmermans, Maaike van Rooijen, & Naomi Van Rijn. 2016. Overgangen en aansluitingen in het onderwijs. GION, Groningen.

¹⁶Feron, Eva. 2018. The role of cognitive tests and teachers in the transition from primary to secondary education. PhD. thesis School of Business and Economics, Maastricht University. / Montgomery, Diane. 2020. Tackling Disadvantage and Underachievement in Schools: a Practical Guide for Teachers. Routledge, London. / West, Anne, & Hazel Pennell. 2003. Underachievement in Schools. Routledge, London.

¹⁷Acacio-Claro, Paulyn J., Leena Koivusilta, David Doku, & Arja Rimpelä. 2019. Timing of puberty and reserve capacity in adolescence as pathways to educational level in adulthood—a longitudinal study. Annals of Human Biology, 46 (1), 35-45.

¹⁸Geven, Sara, & Herman van de Werfhorst. 2020. The role of cognitive tests and teachers in the transition from primary to secondary education. Sociology of Education, 93 (1), 40-64. / Geven, Sara, Jeroen Weesie, & Frank van Tubergen. 2013. The influence of friends on adolescents’ behavior problems at school: The role of ego, alter and dyadic characteristics. Social Networks, 35 (4), 583-592. / Muskens, Marjolein. Hidden obstacles in education for students from low socioeconomic backgrounds. PhD. thesis School of Business and Economics, Maastricht University. / Wentzel, Kathryn. 2017. Peer relationships, motivation, and academic performance at school. In Andrew Elliot, Carol Dweck, & David Yeager (Eds.), Handbook of competence and motivation: Theory and application, p. 586–603, The Guilford Press.

¹⁹Schwabe, Franziska, Roxanne Korthals, & Trudie Schils. 2019. Positive social relationships with peers and teachers as moderators of the Big-Fish-Little-Pond Effect. Learning and Individual Differences, 70, 21-29.

²⁰Golsteyn, Bart, Arjan Non, & Ulf Zölitz. 2021. The impact of peer personality on academic achievement. Journal of Political Economy, 129 (4), 1052-1099.

²¹Claes, Elke. 2020. Performance and expectations of prospective first-generation students. Master thesis School of Business and Economics, Maastricht University. / Gordin, Liza. 2019. Equity in the transition to higher education of prospective first-generation students in Limburg. Bachelor thesis University College, Maastricht University.

²²Hoxby, Caroline, & Sarah Turner. 2015. What high-achieving low-income students know about college. The American Economic Review, 105 (5), 514-517. / Lewis, Neil jr., & Frank Yates. 2019. Preparing disadvantaged students for success in college: Lessons learned from the preparation initiative. Perspectives on Psychological Science, 14 (1), 54-59. / O’Sullivan, Katriona, James Robson, & Niall Winters. 2019. ‘I feel like I have a disadvantage’: how socio-economically disadvantaged students make the decision to study at a prestigious university. Studies in Higher Education, 44 (9), 1676-1690.

²³Borghans, Lex, & Trudie Schils. 2011. Een schets voor een adaptieve toets voor het funderend onderwijs. Notitie voor het Ministerie van Onderwijs, Cultuur en Wetenschap, Maastricht University.

²⁴Goertzen, Lars. 2020. Formatief evalueren in het basisonderwijs: Co-creatie als conditie voor duurzame implementatie. Presentatie gegeven op online festival SLO Formatief Evalueren.

²⁵de Bruin, Anique. 2020. Zelf leren sturen. Inaugurele rede. Maastricht University.

²⁶Dignath, Charlotte, & Gerhard Büttner. 2008. Components of fostering self-regulated learning among students: a meta-analysis on intervention studies at primary and secondary school level. Metacognition and Learning, 3, 231–264.

²⁷Borghans, Lex, Ron Diris, & Trudie Schils. 2021. The teacher or the test? An analysis of the short and long-run predictive power of achievement indicators. Unpublished manuscript, School of Business and Economics, Maastricht University. / Feron, Eva, Trudie Schils, & Bas Ter Weel. 2016. Does the teacher beat the test? The additional value of teacher assessment in predicting student ability. De Economist, 164 (4), 391-418, 2016. / Jackson, Kirabo. 2018. What do test scores miss? The importance of teacher effects on non–test score outcomes. Journal of Political Economy 126 (5), 2072–2107. / Südkamp, Anna, Johanna Kaiser, & Jens Möller. 2012. Acuracy of teachers’ judgments of students’ academic achievement: a Meta-analysis. Journal of Educational Psychology, 104 (3), 743-762.

²⁸Feron, Eva. 2018. The role of cognitive tests and teachers in the transition from primary to secondary education. PhD. thesis School of Business and Economics, Maastricht University.

²⁹Golle, Jessika, Trudie Schils, Lex Borghans, & Norman Rose. 2021. Who is considered gifted from a teacher’s perspective? A representative large-scale study. Unpublished manuscript, Hector Research Institute of Education Sciences and Psychology, University of Tübingen.

³⁰Ledoux, Guuske, Joost Meijer, Ineke van der Veen, & Iris Breetvelt. 2013. Meetinstrumenten voor sociale competenties, metacognitie en advanced skills: Een inventarisatie. Kohnstamm Instituut, Amsterdam. / Meissel, Kane, Frauke Meyer, Esther Yao, & Christine Rubie-Davies. 2017. Subjectivity of teacher judgments: Exploring student characteristics that influence teacher judgments of student ability. Teaching and Teacher Education, 65, 48-60. / Wigelsworth, Michael, Neil Humphrey, Afroditi Kalambouka, & Ann Lendrum. 2010. A review of key issues in the measurement of children’s social and emotional skills. Educational Psychology in Practice, 26 (2), 173-186.

³¹De Groot, Adriaan. 1966. Vijven en zessen. Wolters, Groningen.

³²Stichting Solberg-Verlinden. 1999. Drs. J.W. (‘Wiel’) Solberg. 1921-1998. Ter herinnering.

³³Durlak, Joseph, Roger Weissberg, Allison Dymnicki, Rebecca Taylor, & Kriston Schellinger. 2011. The impact of enhancing students’ social and emotional learning: A meta-analysis of school-based universal interventions. Child Development, 82, 405–432.

³⁴Gordon, Nora, & Carrie Conaway. 2020. Common-sense evidence: The education leader’s guide to using data and research. Harvard Education Publishing Group, Cambridge MA.

³⁵Becker, Gary. 1964. Human capital: a theoretical and empirical analysis, with special reference to education. The University of Chicago Press, Chicago.

³⁶Angrist, Joshua, & Whitney Newey. 1991. Over-Identification tests in earnings functions with fixed effects. Journal of Business and Economic Statistics, 9 (3), 317-323. / Angrist, Joshua, & Alan Krueger. 1992. The effect of age at school entry on educational attainment: An application of instrumental variables with moments from two samples. Journal of the American Statistical Association, 87 (418), 328-336. / Behrman, Jere, & Victor Lavy, 1997. Child health and schooling achievement: Association, causality and household allocations, University of Pennsylvania: Institute of Economic Research.

³⁷Cunha, Flavio, & James Heckman. 2008. Formulating, identifying and estimating the technology of cognitive and noncognitive skill formation. The Journal of Human Resources, 43 (4), 738-782. / Todd, Petra, & Kenneth Wolpin. 2003. On the specification and estimation of the production function for cognitive achievement. The Economic Journal, 113 (485), 3-33.

³⁸Dee, Thomas, William Evans, & Sheila Murray. 1999.  Data Watch: Research data in the economics of education. Journal of Economic Perspectives, 13 (3), 205-216. / Hoxby, Caroline, & Christopher Avery. 2013. The missing “One-Offs”: The hidden supply of high-achieving, low-income students. Brookings Papers on Economic Activity, Spring, 1-50

³⁹Borghans, Lex, Bart Golsteyn, James Heckman, & John Erik Humphries. 2016. What Grades and Achievement Tests Measure. Proceedings of the National Academy of Sciences of the USA (PNAS), 113 (47), 13354-13359. / Heckman, James J., John Erik Humphries, & Tim Kautz. 2014. The myth of achievement tests: The GED and the role of character in American life.  University of Chicago Press, Chicago.

⁴⁰Benhassine, Najy, Florencia Devoto, Esther Duflo, Pascaline Dupas, & Victor Pouliquen. 2014. Turning a shove into a nudge? A “Labeled cash transfer” for education. NBER Working Paper No. 19227, Cambridge. / Fryer, Roland Jr., Steven Levitt, John List, & Sally Sadoff. 2012. Enhancing the efficacy of teacher incentives through loss aversion: A field experiment. NBER Working Paper No. 18237, Cambridge. / Machin, Stephen, Sandra McNally, & Costas Meghir. 2004. Improving pupil performance in English secondary schools: Excellence in cities. Journal of the European Economic Association, 2 (2-3), 396-405.

⁴¹Broekkamp, Hein, & Bernadette van Hout-Wolters. 2006. De kloof tussen onderwijsonderzoek en onderwijspraktijk: Een overzichtsstudie van problemen, oorzaken en oplossingen. Amsterdam University Press, Amsterdam. / van Tartwijk, Jan. 2011. Van onderzoek naar onderwijs, of de kunst van de toepassing. Inaugurele rede Universiteit Utrecht, 6 juni 2011.

⁴²Onderwijsraad. 2011. Ruim baan voor stapsgewijze verbeteringen. Advies No. 20110293/998, Onderwijsraad, Den Haag. / Robinson, Viviane. 1998. Methodology and the research-practice gap. Educational Researcher, 27 (1). / MacMahon, Stephanie, Jack Legett, & Annemaree Carroll. 2021. Building a bridge between research and educational practice. Teacher Bulletin.

⁴³Jonk, Esmee, Trudie Schils, Raoul Haenbeukers, Olaf van Egdom, Guido Timmermans, Henk Janssen, & Gerlach van Wersch. 2017. Samen onderzoeken en leren: Onderzoekssamenwerking tussen onderwijspraktijk, wetenschap en beleid. SchoolManagement Totaal, 4, 28-31. / Penuel, William, & Daniel Gallagher. 2017. Creating research-practice partnerships in education. Harvard Education Press, Cambridge MA. / Ziegler, Lauren. 2019. Storytelling and communities of research: Ideas for closing the research-practice gap in education. Wiseman, Alexander (Ed.) Annual review of comparative and international education 2019, Emerald Publishing Limited, Bingley, pp. 41-45.