De toets wordt ook gezien als een toets die een betrouwbaar beeld geeft van de geleerde vaardigheden van kinderen. In toetstechnische termen spreekt men dan van inhoudelijke validiteit. Om een valide meting van alle basisvaardigheden en referentieniveaus te kunnen zijn, heeft de toets echter een veel te smalle basis.
Hoe komt dat? Daarvoor moeten we terug naar de jaren ’60 van de vorige eeuw, toen de toets voor het eerst is gemaakt. In die tijd stond de psychometrie in hoog aanzien: er werd veel waarde gehecht aan bijvoorbeeld IQ-metingen. De CITO-toets heeft dezelfde opzet als een IQ-test. De norm is het gemiddelde van alle mensen die de test hebben gemaakt. Bij een IQ test is dat 100. Een bovengemiddelde score (120 of 140) wijst op een hoger IQ. Vroeger dacht men dat dat een betrouwbare indicatie van intelligentie was.
Zo construeerde men ook de CITO-toets, die geacht werd schoolse vaardigheden te meten. Om dat “objectief” te kunnen doen, werd er gebruik gemaakt van meerkeuze-items, die net als in IQ-tests bedoeld zijn om zo goed mogelijk te “discrimineren”. Het gaat er niet om dat iedereen het goede antwoord kan geven, het gaat er juist om dat de toets zo goed mogelijk in staat is om de groep toetsdeelnemers in te delen op hun onderlinge niveau. Het is dus eigenlijk een soort quiz. Als een vraag door alle leerlingen goed kan worden beantwoord, komt hij niet in de quiz, want dan helpt hij niet om te “discrimineren”. Dat is ook de reden dat van de vele tienduizenden kinderen die jaarlijks de toets maken er maar hooguit één of twee geen enkele fout hebben.
Lang niet alle vaardigheden die te maken hebben met taal en rekenen kun je op zo’n manier meten. Het is bijvoorbeeld onmogelijk om een belangrijke vaardigheid als schrijven (een brief, een verhaal, een verslag) op zo’n “objectieve” manier te meten. Vandaar dat de toets versmald is tot alleen die vaardigheden die zich lenen voor meerkeuzevragen: begrijpend lezen, spelling en rekenen.
In toetstechnische termen zeggen we dan dat de betrouwbaarheid belangrijker is dan de validiteit. De toets is wel betrouwbaar, omdat het niet uitmaakt wie de toets afneemt, maar niet valide, omdat er maar een klein deel van de verplichte vaardigheden worden gemeten. Dat doet de toets door middel van puzzels, die dus zo zijn geconstrueerd, dat bijna nooit alle leerlingen ze goed kunnen maken.
