Reactie PNN op tussenevaluatie experiment promotieonderwijs

Het Experiment Promotieonderwijs, waarbij promovendi als student in plaats van werknemer worden aangesteld, vindt plaats aan de Rijksuniversiteit Groningen (met 850 plaatsen) en de Erasmus Universiteit Rotterdam (met 15 plaatsen). Er is al veel om het experiment te doen geweest. Promotiestudenten voelen zich tweederangs-promovendi en menen dat de beloofde voordelen van het experiment, zoals meer vrijheid, uitblijven. De RUG noemt het experiment een groot succes en doet de klachten af als ‘fake news’. Gelet op deze tegenstrijdige signalen is een gedegen tussenevaluatie nodig. Een tussenevaluatie is wettelijk verplicht en dient ter bescherming van de promotiestudenten. Doel is te bepalen of het experiment vanwege ernstige problemen tussentijds stopgezet moet worden. Inmiddels is de tussenevaluatie uitgevoerd door onderzoeksbureau CHEPS. Dit onderzoek vertoont echter duidelijke tekortkomingen. Hierdoor blijven promotiestudenten deel van een experiment dat mogelijk ernstige nadelige effecten heeft voor deze promovendi.

1. Weinig eigen onderzoek

Bij de uitvoering van de tussenevaluatie ging het al mis. Onderzoeksbureau CHEPS verlaat zich grotendeels op de data die de RUG verzameld heeft en heeft geen eigen onderzoek gedaan, zelfs niet daar waar de RUG enquêtes onvoldoende doorvroegen (zie hierna punt 9 en 10).  Tevens hadden de onderzoekers van CHEPS geen toegang tot de originele data, alleen tot een door de RUG geprepareerde dataset.

2. Inmenging door de Rijksuniversiteit Groningen

Ter aanvulling zijn interviews gehouden onder RUG personeel. De geïnterviewden zijn uitgenodigd en grotendeels ook geselecteerd door een hooggeplaatste RUG functionaris (zie hier). Zij zijn vervolgens aangespoord bij te dragen aan een positieve tussenevaluatie (zie voor één van de e-mails hier). Een enkeling kreeg zelfs promotiemateriaal toegestuurd. Voorstanders van het experiment kregen, ter voorbereiding, een lijst met onderwerpen toegestuurd, potentieel meer kritische personen niet.

3. Oneerlijke verslaglegging

Door de uitnodigingen voor interviews vanuit een hooggeplaatste RUG-functionaris te sturen, inclusief propaganda, miste de vertrouwelijke en veilige omgeving die nodig is voor onafhankelijke interviews. Dat geldt zeker voor lager geplaatst personeel zoals promovendi. Wetenschappelijke integriteitsnormen schrijven voor dat inmenging door belanghebbenden gemeld wordt.[1] Ondanks aandringen van PNN is in het rapport niets terug te vinden over de gang van zaken.[2]

4. Weinig inbreng promotiestudenten

Promotiestudenten zijn te weinig betrokken in het onderzoek: 11 beleidsmakers, directeuren en decanen werden uitgebreid geïnterviewd in persoonlijke gesprekken, tegenover drie promovendivertegenwoordigers, een lid van de medezeggenschap en een student. Promotiestudenten konden slechts participeren in een rondetafelgesprek van twee uur, met mogelijke onderlinge controle en dus minder ruimte voor kritiek. Wij hebben van twee participanten begrepen dat wel geuite kritiek overigens voor een groot deel niet terug te vinden is in de verslaglegging.

5. Verdringing van werknemerpromovendi door promotiestudenten

Minister Bussemaker wilde met het experiment vaststellen of werknemerpromovendi verdrongen zouden worden door promotiestudenten. De Raad van State waarschuwde dat: “besturen van universiteiten in de huidige economische situatie op grote schaal trajecten voor werknemers-promovendi gaan vervangen door de goedkopere trajecten voor promotiestudenten.” Dit is gebeurd aan de RUG: 75 werknemerpromovendi (betaald uit de eerste geldstroom), zijn vervangen voor promotiestudenten.[3] De onderzoekers menen dat dit geen verdringing is, omdat de universiteit hier bewust toe besloten heeft.[4] Beleidsmatige en structurele verdringing is in de ogen van PNN nog kwalijker, zeker aangezien de RUG bij aanvang van het experiment aangaf dat de promotiestudenten extra zouden zijn en niet ter vervanging van werknemerpromovendi.

6. Goochelen met cijfers

De onderzoekers concluderen dat er meer promotieplekken zijn dankzij het experiment. Zij wegen daarbij niet mee dat veel van deze extra plekken aan de RUG worden gecreëerd door een meer dan vervijfvoudigde (!) investering uit de eerste geldstroom in promotieplekken: van 3,3 m€ per jaar in het verleden naar 17,9 m€.[5] Als dit bedrag in posities voor werknemerpromovendi was  gestoken, waren er ook extra promotieplekken bijgekomen. De tussenevaluatie roept onterecht het beeld op dat het experiment de voornaamste oorzaak van de extra promotieplekken is.

Opmerkelijk is ook dat de onderzoekers aangeven geen kosten/baten analyse te hebben gemaakt,[6] terwijl wel wordt gesteld dat er extra promotieplaatsen zijn bijgekomen door het experiment. Daar valt echter zonder gedegen kostenberekening niets over te zeggen. Zo worden verschillende extra kosten die gepaard gaan met het experiment, en daardoor kunnen leiden tot minder promotieplaatsen, niet betrokken in de tussenevaluatie. Het gaat om kosten voor het trainingsaanbod, het aanstellen van extra docenten doordat promotiestudenten geen of minder onderwijs verzorgen,[7] compensatieregelingen die promotiestudenten extra tijd geeft t.o.v. werknemerpromovendi en een eenmalige financiële compensatie voor sommige promotiestudenten. Verder wordt, zonder verdere onderbouwing, gesteld dat een vierjarig traject voor werknemerpromovendi €240.000 kost.[8] De NWO rekent hier ongeveer € 200.000 voor en bij navraag bij een planning en control van een andere universiteit blijkt dat daar € 193.000 wordt aangehouden. Door voor werknemerpromovendi te hoge kosten voor te spiegelen, lijken promotiestudenten voordeliger dan ze werkelijk zijn.

7. Meer vrijheid? Niet te meten

Het experiment moet de onderzoeksvrijheid voor promovendi vergroten. Uit de tussenevaluatie blijkt dat dit volgens promotiestudenten en hun begeleiders tegenvalt. Wel is er meer vrijheid bij de onderwerpkeuze. Dit wordt echter niet veroorzaakt door de student-status. Aan de RUG worden promotiestudenten betaald uit de eerste geldstroom. Zij worden vervolgens vergeleken met werknemerpromovendi op extern gefinancierde (en vastomlijnde) projecten. Het experiment meet dus de verschillen naar inkomstenbron in plaats van naar status. De onderzoekers laten dit onvermeld en schrijven de grotere vrijheid in onderwerpkeuze zonder voorbehoud toe aan het experiment.[9]

8. Shoppen met data

Er worden opvallend weinig gevolgen verbonden aan de enquête onder begeleiders[10] die eerder door de RUG zelf weggelaten werd uit haar zelfevaluaties. Uit deze enquête blijkt dat begeleiders promotiestudenten naar eigen zeggen (gemiddeld) niet meer vrijheid geven, zelfs niet bij de onderwerpkeuze. Hier is in de conclusies niets mee gedaan. Opvallend is verder dat de tabel waaruit de slechte scores duidelijk bleek, is vervangen voor een tamelijk onduidelijke staafdiagram (p. 89).

9. Tevredenheid is niet gemeten

De tussenevaluatie gaat er vanuit dat promotiestudenten tevreden zijn over hun traject, omdat zij opnieuw voor een plek als promotiestudent zouden kiezen.[11] Deze vraagstelling (uit de RUG enquêtes) is onbruikbaar om tevredenheid te meten. Promotiestudenten wordt voorgehouden dat het een plek als promotiestudent is, of anders niets. De keuze bij de beantwoording is daardoor: zou ik weer kiezen voor een plek als promotiestudent of zou ik kiezen voor helemaal geen promotieplek. Dat zegt niets over de tevredenheid met de positie vergeleken met een positie als werknemerpromovendi. En dat is de vergelijking waar het experiment om draait.

10. Druk om onbetaald onderwijs te geven

Een veelgehoorde klacht, die ook terugkomt in de tussenevaluatie, is dat promotiestudenten onder druk worden gezet om onbetaald onderwijs te geven.[12] Doordat CHEPS zich op de RUG enquêtes baseert, is alleen gekeken naar de respons op de volgende stelling: “Ik ben tevreden dat ik geen onderwijs hoef te geven aan studenten of studenten hoef te begeleiden”[13] Zonder gestructureerd onderzoek en enkel op basis van ontkenningen door de verantwoordelijke Graduate School directeuren, wordt vervolgens toch geconcludeerd dat het allemaal wel mee zal vallen.[14] 

11. Nederland doet het goed in Europees verband

Het rapport (p. 17) meldt dat Nederland tamelijk slecht scoort op het aantal gepromoveerden onder 25-34 jarigen. Dit conflicteert met de EU-cijfers, waar Nederland juist sinds 2011 in de top 5 staat. Verder klopt het niet dat nagenoeg alle andere landen in Europa een systeem met promotiestudenten kennen, zoals het rapport (op p. 18) stelt. Zo werken Denemarken (van oudsher), maar ook Noorwegen en Zweden, nagenoeg uitsluitend met promovendiwerknemers.

12. Foutief aanhalen Bologna proces

Ten slotte wordt (op p. 13 en 18) gesuggereerd dat het Bologna proces (wat gezorgd heeft voor het Ba-Ma systeem) vergt dat een systeem met promotiestudenten wordt ingevoerd. Dat is onjuist, het Bologna proces laat het aan landen zelf om te beslissen over de juridische status van promovendi. Sterker nog, de Salzburg Recommendations (onderdeel van Bologna) bepalen: “Doctoral candidates as early stage researchers: should be recognized as professionals – with commensurate rights – who make a key contribution to the creation of new knowledge”.

Oproep: doe goed onderzoek

Een experiment vraagt om onafhankelijk en eerlijk onderzoek. Door de genoemde hiaten, fouten, eenzijdige weergaven en ongeregeldheden rondom de interviews, zegt de tussenevaluatie niets over de werkelijke gang van zaken binnen het experiment. PNN roept Minister van Engelshoven daarom dringend op om, mede in het belang van de betrokken promotiestudenten, een contra-expertise te houden en een onderzoek in te stellen naar hetgeen is voorgevallen. Daarnaast roept PNN de minister op om de Rijksuniversiteit Groningen in ieder geval niet mee te laten doen aan een tweede ronde van het experiment. Ten eerste omdat een tweede ronde volgens Minister Bussemaker bedoeld was voor universiteiten waarvoor de eerste ronde te snel kwam.[15] Ten tweede omdat de Rijksuniversiteit zich op een dusdanige wijze gedraagt dat de betrouwbaarheid van de evaluatie van het experiment in het geding komt.

Vanwege dit alles vragen wij de minister daarnaast om het experiment aan de Rijksuniversiteit Groningen stop te zetten. Een experiment waarbij partijen de resultaten oneigenlijk pogen te beïnvloeden is zinloos: de resultaten zijn dan onbetrouwbaar.

Oproep: geen nieuwe ronde

De klachten vanuit promotiestudenten en de problemen rondom de tussenevaluatie vragen om een zorgvuldige monitoring en een beëindiging van het experiment aan de Rijksuniversiteit Groningen. Een nog verdere uitbreiding is, gelet op alle negatieve signalen, onverantwoord en vormt een risico voor nog eens honderden kwetsbare jonge onderzoekers. We vragen de minister op te komen voor deze kwetsbare groep onderzoekers en vast te houden aan haar oorspronkelijke besluit om het experiment niet verder uit te breiden. PNN betreurt dat de minister besloten heeft uitvoering te geven aan de motie van Van der Molen c.s. om een tweede ronde open te stellen. PNN meent dat er – als er toch een tweede ronde komt – in ieder geval slechts een zeer beperkt aantal nieuwe promotiestudenten kan starten, omdat de wet vereist dat het merendeel van de promotiestudenten uiterlijk in 2018 gestart moet zijn.[16] Aangezien de eindevaluatie plaatsvindt in 2021,[17] zal een nieuwe ronde die van start gaat in 2020 nauwelijks nog valide resultaten kunnen opleveren. Een tweede ronde zou dan ook enkel een kostenbesparend middel opleveren voor universiteiten, terwijl dit bij invoering van het experiment juist werd genoemd als een reden om het experiment tussentijds te beëindigen.[18]

Voetnoten

[1] Nederlandse Gedragscode Wetenschappelijke Integriteit, gedragsnorm 8 en 44.

[2] Opvallend is dat wél wordt opgemerkt dat GRIN, het plaatselijke promovendioverleg, geholpen heeft bij de organisatie van het rondetafelgesprek met promotiestudenten (tussenevaluatie, p. 10).

[3] Tussenevaluatie, p. 35.

[4] Tussenevaluatie, p. 104.

[5] Tussenevaluatie, p. 40.

[6] Tussenevaluatie, p. 24.

[7] De tussenevaluatie vermeldt op p. 98 dat werknemerpromovendi maar weinig en maximaal 20% onderwijs mogen geven op basis van de Cao. Dit is onjuist: dit staat niet in de Cao en aan de RUG is het maximaal 25%.

[8] Tussenevaluatie, p. 24.

[9] Tussenevaluatie, p. 104 en p. 49-51

[10] Tussenevaluatie, p. 26.

[11] tussenevaluatie, p. 102.

[12] Zie ook p. 99 van de tussenevaluatie.

[13] Tussenevaluatie, p. 28.

[14] Tussenevaluatie p. 100 en 104.

[15] Kamerstuk Tweede Kamer, Vergaderjaar 2014–2015, 31288, nr. 437, p. 25.

[16] Artikel 8 lid 2 van het Besluit Experiment Promotieonderwijs.

[17] Artikel 13 van het Besluit Experiment Promotieonderwijs.

[18] Kamerstuk Tweede Kamer, Vergaderjaar 2014–2015, 31288, nr. 437, p. 23.