Dans la récente introduction à cette série de blogs, Tout ce que vous avez toujours voulu savoir sur l’ODD 4 et ses indicateurs, j’ai évoqué le dilemme auquel font face les chercheurs et les statisticiens : comment traduire les processus techniques autour des indicateurs en mesures compréhensibles ?

Ce n’est jamais une tâche aisée, mais qui est toutefois plus difficile si vous n’avez pas participé dès le début aux discussions au cours desquelles les indicateurs ont été élaborés.

Il existe déjà de nombreux outils disponibles sur les indicateurs et les données de l’ODD 4

Il semble que l’ISU, l’Institut de la Statistique de l’UNESCO (ISU), en tant qu’agence des Nations unies de référence pour l’ODD 4, ne se contente pas de produire les données, mais cherche également à développer les outils, et à recueillir, analyser et communiquer ces données. C’est pourquoi nous avons développé trois publications statistiques et outils de données conviviaux pour les acteurs de l’ODD 4 :

• Le Petit Guide des indicateurs de l’éducation pour l’ODD 4,
• Le Livre des données de l’ODD 4
• L'Explorateur des données de l’ODD 4  
• the les profils pays

Dans cette série de blogs, nous examinerons étape par étape le processus de recueil des données pour chacun des 11 indicateurs pour l’ODD 4 – le groupe d’indicateurs soigneusement sélectionnés pour suivre les avancées sur la voie de chaque cible en matière d’éducation.

En s’appuyant sur le Petit Guide, nous examinerons la définition de chaque indicateur, son concept, son mode de calcul, ses sources, son mode de production, et surtout, comment l’interpréter.

L’indicateur 4.1.1 : la mesure de l’apprentissage des enfants

Ce blog est axé sur la cible 4.1 de l’ODD 4 : un enseignement primaire et secondaire gratuit et de qualité, sur un pied d’égalité et l’indicateur 4.1.1,défini comme :Pourcentage d’enfants et de jeunes : (a) en cours élémentaire ; (b) en fin de cycle primaire ; et (c) en fin du cycle secondaire qui maîtrisent au moins les normes d’aptitudes minimales en (i) lecture et (ii) mathématiques, par sexe.

Leconcept de l’indicateur 4.1.1 est simple : Mesurer la qualité de l’éducation et de l’apprentissage dans deux matières à trois moments clés : en cours élémentaire, en fin du cycle primaire et en fin du cycle secondaire. Son calcul est le pourcentage d’enfants et de jeunes qui maîtrisent au moins les normes d’aptitude minimales (NAM) en (i) lecture et (ii) mathématiques.

Sur l'interprétation des données : les trois points de mesure auront leurs propres NAM établies par les pays, conformément aux normes minimales définies au niveau mondial. Pour chaque point de mesure, il y aura donc un seuil, les élèves se situant soit en dessous, soit au niveau du seuil, soit au-dessus.

En matière de sources de données : l’indicateur sera basé sur les résultats d’un large éventail d’évaluations transnationales, telles que : le Programme d'analyse des systèmes éducatifs de la CONFEMEN (PASEC), le Programme international de recherche en lecture scolaire (PIRLS), le Programme d’évaluation internationale des élèves (PISA), le Consortium d'Afrique australe et orientale pour le suivi de la qualité de l'éducation (SACMEQ), la Troisième étude explicative et comparative régionale (TERCE) et l’Étude internationale sur les mathématiques et les sciences (TIMSS).

Les défis de la mesure de l’apprentissage entre les pays

Nous nous heurtons au premier des trois défis liés à cette mesure. Tout d’abord, les différentes évaluations ne reposent pas toujours sur la même définition de l'aptitude. Il est possible de comparer l’aptitude des élèves brésiliens à celle des élèves au Paraguay, car les deux pays participent à la même évaluation régionale, mais on ne peut pas comparer les élèves de ces pays à ceux d’Afrique du Sud ou du Botswana. Leur évaluation régionale utilise en effet différents concepts et méthodes pour mesurer l’apprentissage.

Il n’existe à ce jour aucune norme mondiale commune pour les évaluations de l’apprentissage. L’ISU travaille cependant à établir une certaine comparabilité en développant un Cadre mondial de références pour la lecture et les mathématiques. Celui-ci vise à garantir qu'on enseigne à tous les enfants ce qu’ils ont besoin de savoir à différents moments de leur éducation, afin d’améliorer la qualité des données pour éclairer les politiques et permettre aux pays de communiquer leurs données au niveau international en utilisant des métriques communes.

Il faudra du temps pour développer et établir un consensus sur ces métriques communes. En attendant, l’ISU a développé une stratégie provisoire en exploitant des données nationales. Si ces données ne sont pas comparables entre pays et ne peuvent pas être officiellement utilisées pour le suivi, elles fournissent aux pays et aux partenaires de développement un aperçu global, ou un instantané, de la situation de l’apprentissage au niveau national, régional et mondial.

Le deuxième défi essentiel est la nécessité d’une qualité régulière, sur la base de normes techniques communes, pour garantir l’exploitabilité des données nationales et régionales. L’ISU travaille également à relever ce défi, comme en témoigne la production des Principes de bonnes pratiques dans l’évaluation de l’apprentissage et les petits guides sur l’évaluation de l’apprentissage connexes.

Le troisième principal défi est la nécessité de respecter des points de vue multiples : l’identification de domaines d’apprentissage pertinents qui peuvent et doivent être mesurés au niveau mondial ; la conceptualisation du mode d’information de la mesure mondiale par les données nationales et régionales ; et la recherche d’un équilibre entre les perspectives mondiales en matière d’éducation et les influences et objectifs locaux.

Là encore, l’ISU s’efforce de développer des moyens d’utiliser les évaluations nationales et transnationales existantes pour faciliter la mesure et la communication des résultats de l’apprentissage, plutôt que d'exiger l’utilisation d’une seule évaluation par chaque pays pour la communication de données relatives aux ODD. Nous expérimentons également des approches innovantes telles que la « modération sociale » pour définir, par exemple, ce qu’un pays considère comme référence ou NAM. Nous comprenons surtout les considérations politiques et la nécessité de parvenir à un consensus.

Les limites en termes de données disponibles constituent un autre défi, les évaluations ayant généralement lieu au sein du système scolaire (évaluations dans l’établissement) et ne concernant donc que les enfants dans la classe. À ce jour, l’indicateur 4.1.1 ne prend pas en compte les enfants non scolarisés, et toute évaluation de leurs compétences en lecture ou mathématiques doit s’appuyer sur les enquêtes auprès des ménages. 

L’ISU s’efforce de relever tous ces défis et vise à aider les États à mesurer et suivre les résultats d’apprentissage en mathématiques et lecture en rapport avec l’indicateur 4.1.1 et à utiliser les données à bon escient pour informer les décisions politiques d'une façon qui respecte le contexte national.

Notre objectif global est de fournir et d’améliorer des cadres de mesure qui lanceront le monde sur la voie d’un enseignement primaire et secondaire gratuit, équitable et de qualité pour chaque enfant.

Ceci est le deuxième d’une série de blogs sur les indicateurs mondiaux de suivi de l’ODD 4. L’ISU invite tous les lecteurs intéressés à faire part de leurs réactions ou commentaires.