Voor de uitvoering van onze waarborgfunctie is het van belang dat we de prestaties en mogelijke risico’s op het niveau van de besturen, scholen en opleidingen monitoren. Daarom voeren we ten minste één keer per jaar een analyse uit voor elke school/opleiding en elk bestuur, de jaarlijkse prestatie- en risicoanalyse.
De jaarlijkse prestatie- en risicoanalyse doen we op basis van beschikbare gegevens. Maar ook aan de hand van signalen die we ontvangen van bijvoorbeeld ouders of leraren, en op basis van de contacten die inspecteurs hebben met deze scholen, opleidingen en besturen. Op basis van deze jaarlijkse analyse wordt bepaald of de inspectie -in aanvulling op de vierjaarlijkse onderzoeken bij besturen, scholen en opleidingen- een onderzoek zou moeten uitvoeren bij een instelling. Dit kan gaan over een inspectieonderzoek op locatie, of een bestuursgesprek.
De gegevens van scholen, opleidingen en besturen zijn belangrijk voor de analyse
De gegevens die wij beschikbaar hebben, spelen in de jaarlijkse prestatie- en risicoanalyse een belangrijke rol. In het geval van scholen kijken we bijvoorbeeld naar leerresultaten, de voortgang in de cognitieve ontwikkeling van leerlingen en de ontwikkeling van leerlingenaantallen. Bij besturen richten we ons juist op zaken als de omvang van het personeelsbestand en het jaarverslag van het bestuur. Ook kijken we naar aantallen signalen van bijvoorbeeld leraren, ouders of leerlingen en studenten.
Deels geautomatiseerde risicoschatting
Vanwege de combinatie van grote hoeveelheden gegevens en veel instellingen voeren we deze prestatie- en risicoanalyse deels geautomatiseerd uit. We maken daarbij gebruik van vooraf vastgestelde, geautomatiseerde, beslisregels. Dit worden ook wel algoritmen genoemd. Deze beslisregels leiden tot een zogeheten risicoprioritering: sommige scholen, opleidingen of besturen hebben hogere risicoscores dan anderen.
Menselijke besluitvorming
Inspecteurs en analisten bepalen vervolgens of er onderzoek nodig is door te kijken naar een aantal informatiebronnen:
de risicoprioritering (en de onderliggende gegevens)
de inhoud van eventuele signalen die over een school, opleiding of bestuur zijn binnengekomen
de overige informatie die we hebben over de betrokken scholen, opleidingen en besturen, bijvoorbeeld op basis van eerdere onderzoeken.
Een besluit tot een toezichtsactiviteit (zoals een inspectieonderzoek) is daarmee altijd gebaseerd op menselijke beoordeling van verschillende informatiebronnen door een expert. Dit besluit is dus nooit een gevolg van een volledig geautomatiseerde beslissing. Als we op basis van deze informatiebronnen geen grote risico’s zien, dan sluiten we de jaarlijkse prestatie- en risicoanalyse af. De school, opleiding of het bestuur hoort dan in principe niets van ons.
Handmatige en uitgebreide analyse bij vermoeden van risico’s
Vermoeden we dat er mogelijke risico’s zijn? Dan voeren we handmatig een uitgebreidere analyse uit. Deze analyse wordt uitgevoerd door een team van experts, waarin kennis en deskundigheid op het terrein van data-analyse, onderwijskwaliteit en financieel beheer aanwezig zijn. Zo ontstaat een zo volledig mogelijk beeld van de onderwijskwaliteit, sturingskwaliteit en financiën. Zien we op basis van deze handmatige analyse dat de risico’s groot en ernstig zijn? En wordt de school, opleiding of het bestuur niet op korte termijn al onderzocht in het kader van een vierjaarlijks bestuursonderzoek? Dan nemen we contact op met de instelling en volgen er mogelijk toezichtsactiviteiten.
Waarborgen risicoprioritering
Zoals hierboven beschreven, gebruiken we deels geautomatiseerde beslisregels om een risicoprioritering aan te brengen van scholen, opleidingen en onderwijsbesturen. Omdat deze beslisregels een onderdeel zijn van de jaarlijkse prestatie- en risicoanalyse, is het belangrijk dat die geautomatiseerde risicoschattingen zo goed en eerlijk mogelijk zijn. Hiervoor zijn binnen onze werkwijze een aantal waarborgen ingesteld:
Er vindt een continue controle plaats op datakwaliteit.
We doen alleen geautomatiseerde risicoschatting op het niveau van scholen, opleidingen en besturen (en dus nooit op het niveau van personen).
Onze risicomodellen zijn uitlegbaar (analisten en inspecteurs kunnen inzien waarom een school, opleiding of bestuur een bepaalde risicoscore krijgt).
We hebben een duidelijk doel voor ogen met de risicoprioritering (het prioriteren van scholen, besturen en opleidingen voor handmatige analyses).
We evalueren de kwaliteit van de risicoschatting elk jaar door te onderzoeken of de geautomatiseerde risicoschatting voldoende aansluit op menselijke herkenning van de risico’s door inspecteurs en analisten.
Ten slotte communiceren we naar belanghebbenden over onze werkwijze.
Prestatieanalyses per onderwijsdomein
Prestatieanalyses worden uitgevoerd op school-, opleidings- en bestuursniveau. Hieronder zijn voor de verschillende onderwijsgebieden de prestatieanalyses beschreven.
In de jaarlijkse prestatieanalyse van de reguliere basisscholen kijken we naar:
de gemiddelde doorstroom- of eindtoetsscore in relatie tot schoolweging
behaalde referentieniveaus in relatie tot schoolweging
plaats in het voortgezet onderwijs na 3 jaar
schooladviezen
signalen
monitor sociale veiligheid
verandering van schoolgrootte
schoolweging (als correctiefactor bij de behaalde referentieniveaus)
Bronnen
De schoolweging is de maat voor de leerlingenpopulatie die het Centraal Bureau voor de Statistiek (CBS) voor ons berekent. De gegevens zijn afkomstig uit het Register Onderwijsdeelnemers (ROD, voorheen BRON), bestanden van het CBS en de door scholen aangeleverde monitorgegevens sociale veiligheid.
Analyse van scholen voor speciaal basisonderwijs
In de jaarlijkse prestatieanalyse van de scholen in het speciaal basisonderwijs kijken we naar zaken zoals:
bestendiging in vervolgonderwijs
de schooladviezen
signalen
schorsingen
de monitor sociale veiligheid
de verandering van schoolgrootte
personeelsverzuim.
De gegevens zijn afkomstig uit het Register Onderwijsdeelnemers (ROD, voorheen BRON), bestanden van het CBS en de door scholen aangeleverde monitorgegevens sociale veiligheid.
Analyse van scholen voor nieuwkomers
Naast de prestatieanalyse voor scholen in het basisonderwijs en speciaal basisonderwijs voeren we ook een jaarlijkse analyse uit voor scholen die onderwijs verzorgen voor nieuwkomers. Hierbij kijken we bijvoorbeeld naar de ervaren veiligheid en veranderingen in leerlingaantallen; gegevens die jaarlijks door middel van vragenlijsten worden opgehaald bij de scholen. Ook hierbij kijken we naar ontvangen signalen.
In de jaarlijkse prestatieanalyse van de scholen voor voortgezet onderwijs kijken we naar:
Naast de prestatieanalyse voor scholen in het reguliere voortgezet onderwijs voeren we ook jaarlijks prestatieanalyses uit voor scholen die praktijkonderwijs verzorgen. Ook hierbij kijken we onder andere naar:
de uitkomsten van de Uitstroom- en Volgmonitor
ontvangen signalen
ontwikkelingen in leerlingaantallen
kenmerken van het personeelsbestand
Belangrijkste databronnen
De belangrijkste databronnen voor de prestatieanalyse van het voortgezet onderwijs zijn:
uitkomsten van het Onderwijsresultatenmodel VO
uitkomsten van de Uitstroom- en volgmonitor van de Sectorraad Praktijkonderwijs.
de door scholen aangeleverde monitorgegevens sociale veiligheid
interne bestanden met ontvangen meldingen
het Register Onderwijsdeelnemers (ROD, voorheen BRON)
In de jaarlijkse prestatieanalyse van scholen voor (voortgezet) speciaal onderwijs kijken wij bijvoorbeeld naar de opbrengstgegevens die jaarlijks door middel van de vragenlijst worden opgehaald bij de scholen. Hierbij gaat het om tussentijdse uitstroom en einduitstroom, beoogde en behaalde ontwikkelingsperspectieven en de bestendiging. We kijken daarnaast naar:
signalen
de monitoring sociale veiligheid
schorsingen en verwijderingen
leerlingpopulaties
financiële gegevens en fusies
Bronnen
Deze gegevens zijn afkomstig uit het Register Onderwijsdeelnemers (ROD, voorheen BRON), gegevens aangeleverd door scholen en gegevens uit onze eigen registraties.
In de jaarlijkse prestatieanalyse middelbaar beroeps onderwijs kijken wij naar gegevens zoals:
onderwijsresultaten
financiële kengetallen
personele en materiële kosten
ontwikkeling studentpopulatie
bestuurlijke inrichting
beschikbare onderzoeken naar veiligheid
resultaten van tevredenheidsonderzoeken
Bronnen
Deze gegevens zijn afkomstig uit de eigen verantwoording van de instelling (zoals het jaarverslag en de jaarrekening), informatie uit centrale registraties, de uitkomsten van de JOB-monitor (tevredenheidsonderzoek bij studenten), en signalen die wij ontvangen.
We hebben als inspectie ten opzichte van besturen en opleidingen in het hoger onderwijs een andere rol en positie dan in de overige onderwijssectoren. Om die reden wordt niet gewerkt met een jaarlijkse prestatie- en risicoanalyse voor instellingen in het hoger onderwijs.
Naast de jaarlijkse prestatieanalyse die we uitvoeren om te kijken naar risico’s op individuele scholen en opleidingen voeren we elk jaar ook een prestatieanalyse uit voor alle onderwijsbesturen. Hierbij kijken we naar:
de financiële gegevens
kenmerken van het personeelsbestand
signalen
de monitor sociale veiligheid
de verandering van schoolgroottes
Bronnen
De gegevens die hiervoor gebruikt worden zijn afkomstig uit het Register Onderwijsdeelnemers (ROD, voorheen BRON), de open financiële (XBRL) gegevens van DUO, de door scholen aangeleverde monitorgegevens sociale veiligheid, en gegevens die uit onze eigen registraties komen.
Aanvullende analyse financieel beheer
Een belangrijk aanvullend onderdeel van het toezicht op besturen zijn analyses door onze afdeling Rekenschap met specifieke betrekking tot het financiële beheer. De inrichting van het toezicht gericht op financieel beheer beschrijven wij ook op onze website.
Heeft u vragen?
Heeft u vragen over onze jaarlijkse prestatie- en risicoanalyse, en de rol van de geautomatiseerde risicoprioritering daarin? Neem dan contact met ons op via het contactformulier.
