'Data-informed or data-driven, that's the question'

11 juli 2013

Jelmer Evers maakt zich ernstig zorgen over de toenemende druk die verschillende nationale en internationale lijstjes op ons onderwijs leggen. Hij las een krantenartikel Dissemination or contamination? waarin drie prominente wetenschappers worden opgevoerd: Michael Barber, Andreas Schleicher en Pasi Sahlberg. Als leraar geschiedenis en onderzoeker zet hij het werk van deze drie onderwijsmusketiers in een breder perspectief. Er ontstaat nuance en er rijst een fundamentele vraag op.  'Data-informed or data-driven, that's the question?'

Zoals ik al eerder schreef maak maak ik me ernstig zorgen over de toenemende druk die verschillende nationale en internationale lijstjes op ons onderwijs leggen. PISA, PIRLS en TIMMS bevatten veel waardevolle informatie om je beleid op te baseren, maar wat ze meten is aan de andere kant ook zeer beperkt. Er wordt iets gemeten, maar ook heel veel niet. En er worden allemaal data-sets vergeleken waarvan het maar de vraag is of ze zomaar met elkaar vergeleken kunnen worden.

Hetzelfde geldt voor de data die de inspectie tot zijn beschikking heeft. In Nederland gaat Dronkers daar in Nederland heel ver mee (Dronkers, 2012). Data van scholen worden in een spreadsheet gegoten, met heel veel discutabele aannames. Daar rolt een cijfer uit en dat is het dan. Dat leidt tot hele rare uitkomsten: een HAVO afdeling die heel slecht scoort, terwijl een VWO afdeling met dezelfde docenten het heel goed doet. Of dat een school het ene jaar het erg goed doet volgens Dronkers en het andere jaar heel slecht. Ook ontstaat er een heel ander beeld dan de inspectie schetst. De realiteit in cijfers vatten en dan die cijfers bijna gelijkstellen aan die realiteit. Het cijfer is de school en het cijfer is het kind. Stel dat een school een heel jaar alleen maar de twee geschiedenisexamenthema’s behandelt en heel goed scoort. Is het dan een goede school? Nee, die examens doe je hoogstens in een paar maanden. Die school doet aan test-prep, het tegendeel van goed onderwijs. Sociale wetenschappers als Dronkers leiden aan hubris.

Sure, Big Data Is Great. But So Is Intuition. is de titel van een artikel in de New York Times (Lohr, 2012):

“Listening to the data is important (…) but so is experience and intuition. After all, what is intuition at its best but large amounts of data of all kinds filtered through a human brain rather than a math model”?

Ik ben zelf opgeleid als historicus. Geschiedenis is een wezenlijk andere tak van sport dan sociologie bijvoorbeeld. In ieder geval zoals ik het in Utrecht aangeleerd kreeg. In de geschiedenis als metier beschouwen we elke gebeurtenis als uniek omdat er zoveel verschillende variabelen zijn. Dat betekent niet dat je geen algemene conclusies trekt, modellen maakt of dat er geen lijnen naar de sociale wetenschappen zijn, maar modellen zullen altijd met de nodige scepsis benaderd worden. Vandaar dat ik ook terughoudend ben over alle lijstjes die over het onderwijs worden uitgestort. Ik laat me informeren, maar niet leiden door de data. In het beste geval zit er altijd een bepaald, vaak onbewust, wereldbeeld in de opzet en het oordeel van een onderzoek. In het slechtste geval zit er een verborgen agenda achter al die rapporten en onderzoeken.

In het krantenartikel Dissemination or contamination? in de Times Educational Supplement (TES) wordt dit goed duidelijk. (Stewart, 2012) Het gehele artikel is zeer de moeite waard om te lezen en geeft het huidige debat over ranking goed weer. Aan bod komen drie prominente wetenschappers. Michael Barber, Andreas Schleicher en Pasi Sahlberg.

Barber is oud-docent en nu hoofd onderzoek van Pearson. Hij was voormalig adviseur van de Britse regering en in die hoedanigheid was hij verantwoordelijk voor een grootschalig gestandardiseerd toetsprogramma en de geboorte van de Global Education Reform Movement (GERM). Verder was hij daarna verantwoordelijk voor een aantal invloedrijke McKinsey rapporten. En nu zit hij dus bij Pearson, een onderwijs conglomeraat. In die hoedanigheid heeft hij onlangs een grootschalig rapport gepubliceerd: The Learning Curve. (Economist Intelligence Unit, 2012) Op zich een goed rapport, zoals Jozef Kok eerder op deze website al constateerde. Maar door de achtergrond van Barber, de richting die hij via de McKinsey rapporten aan het onderwijsdebat heeft gegeven en nu in zijn rol van Pearson zou je op zijn minst op je hoede moeten zijn. Pearson heeft belang bij meer toetsen (onderdeel van hun inkomsten), privatisering (online scholen die leerplatforms gebruiken,etc.). Er staan letterlijk miljarden op het spel. Je hier geen rekenschap van geven is kinderlijk naïef.

Schleicher is hoofd van PISA onderzoeksprogramma van de OECD. Een data-analist met een natuurkundige achtergrond. In meerdere interviews komt hij over als een integere man. Maar ook erg kortzichtig over de tekortkomingen van zijn onderzoek en al helemaal over de gevolgen voor onderwijsbeleid. “Schleicher also struggles to see any downside to Pisa and its ilk.” 

Er zijn een aantal grote gevolgen als gevolg van zijn onderzoek. Landen gaan steeds meer gestandaardiseerde toetsen invoeren als gevolg van een “verslechtering” op de PISA ranking. Het systeem wordt dus ingericht naar de toets, terwijl je zou moeten toetsen of leerlingen wat geleerd hebben. Het gaat zelfs zo ver dat landen hun systeem zijn gaan inrichten naar PISA toetsen, bijvoorbeeld in Duitsland. Dat komt niet meer voor zegt hij, terwijl het net in Wales weer is gebeurd. Los van alle haken en ogen aan het onderzoek zelf, kun je als onderzoeker niet je ogen sluiten voor dit soort uitkomsten.

Ten derde komt Pasi Sahlberg aan bod. Telg uit een onderwijsfamilie, oud-docent, onderzoeker en beleidsmaker in Finland. Alles wat hij doet ademt nuance en respect uit voor de individuele benadering. Zijn boek Finnish Lesson is zeer de moeite waard. (Sahlberg, 2011) Hij is ook degene die de term GERM heeft bedacht:

“It is like an epidemic that spreads and infects education systems through a virus (…) It travels with pundits, media and politicians. Education systems borrow policies from others and get infected. As a consequence, schools get ill, teachers don’t feel well and kids learn less.”(Stewart, 2012)

Daarnaast stelt hij - net als Martha Nussbaum - terecht dat een puur economische blik op het onderwijs en de introductie van modellen uit het bedrijfsleven belangrijker zijn geworden dan ontwikkeling en leren als doel op zich :

“This process where education policies and ideas are lent and borrowed from the business world is often motivated by national hegemony and economic profit, rather than by moral goals of human development,”

Sahlberg benadrukt de waarde van de internationale onderzoeken, maar tegelijkertijd is hij ook sceptisch over hoe ze worden ingezet. Data informed tegenover data-driven.

De conclusie van het stuk is terecht:“For education, globalisation is already here. Now, the battle is about ideology.”

Lees meer op Jelmers eigen blogpagina.