Ce blog a été co-écrit par Silvia Montoya (ISU), Hetal Thukral and Melissa Chiappetta (USAID), Diego Luna-Bazaldua and Joao Pedro De Azevedo (Banque mondiale), Manuel Cardoso (UNICEF), Rona Bronwin (FCDO), Ramya Vivekanandan (GPE) and Clio Dintilhac (BMGF).

Nous vivons une crise mondiale de l'apprentissage : les rapports sur la pauvreté de l'apprentissage suggèrent que dans les pays à revenu faible ou intermédiaire 7 enfants sur 10 sont incapables de lire et comprendre un texte simple avant l'âge de 10 ans. Cependant, dans la plupart des pays en développement, nous ne pouvons qu'estimer le nombre d'enfants qui savent lire, car nous ne disposons pas de données fiables pour mesurer les résultats et les progrès de l'apprentissage au fil du temps.

Dans 86 % des pays à revenu faible ou intermédiaire, nous ne pouvons évaluer le niveau de pertes d'apprentissage dues aux fermetures d'écoles durant la pandémie de COVID-19. Si nous voulons mesurer les progrès entre pays et à l’intérieur des pays au fil des ans, nous avons besoin de données qui mesurent ce qui compte et qui soient fiables et comparables dans le temps.

Heureusement, nous sommes plus proches que jamais de cet objectif. L’élan politique est bien perceptible : les partenaires [du secteur] de l'éducation se sont réunis récemment lors du Sommet des Nations Unies sur la Transformation de l'éducation et se sont engagés à agir en faveur de l'apprentissage fondamental, notamment en faveur de la collecte des données sur l'apprentissage. Plus important encore, les pays disposent désormais de méthodes pour renforcer leurs évaluations et ancrer leur mesure dans des avis d'experts.

Pourquoi la collecte de données sur l'apprentissage comparables et fiables a-t-elle été si difficile ?

En dépit du nombre croissant d’évaluations nationales et internationales, la collecte de données sur l'apprentissage comparables dans le temps et entre les pays n'est pas une mince affaire. En effet, la plupart des évaluations :

1. Ne mesurent pas ce qui compte : la plupart des évaluations ne mesurent pas les sous-compétences spécifiques qui permettent de lire et comprendre ; et donnent souvent la priorité à la mesure de la connaissance du contenu. La mesure des sous-compétences est importante pour permettre aux acteurs de l'éducation d'identifier et de cibler les lacunes spécifiques parmi les apprenants incapables de lire et comprendre ce qu’ils lisent ;
2. Ne sont pas comparables dans le temps : de nombreuses évaluations ne sont pas conçues pour être comparables sur le plan psychométrique dans le temps. Lorsque la matière et le niveau évalués changent, cela empêche également toute comparabilité ;
3. Ne sont pas comparables entre les pays : les évaluations menées dans différents pays testent différentes compétences à différents niveaux. Il est donc difficile d'apprendre ou de comparer ce qui se fait d'un pays à l'autre car, les niveaux de difficulté ne sont pas les mêmes.

Par ailleurs :

4. Les évaluations internationales peuvent permettre la comparabilité, mais concernent peu de pays à faible revenu et à revenu intermédiaire de la tranche inférieure, en particulier pour les premières années de l'école primaire. De plus, les évaluations internationales du primaire se déroulent par cycles, tous les cinq à six ans, ce qui est trop long pour fournir des informations significatives et éclairer les décisions. Cela contraste avec les évaluations du premier cycle du secondaire qui ont lieu tous les trois ans.
5. Les évaluations de l'apprentissage dans les projets des donateurs sont souvent limitées aux bénéficiaires et au calendrier des projets, ce qui limite la durabilité de ces efforts.

Cela explique pourquoi il manque toujours autant de données. 24 pays d'Afrique subsaharienne, par exemple, n'ont pas communiqué de données dans le rapport 2022 sur la pauvreté des apprentissages (en anglais). La carte de l'ISU ci-dessous met en évidence ces lacunes.

Note : Les deux cartes tiennent compte des évaluations qui mesurent l'apprentissage (de la lecture ou des mathématiques) à la fin de l’école primaire réalisées en 2016 ou après. Seules les évaluations nationales qui ont atteint un certain seuil de « qualité », c'est-à-dire qui utilisent la théorie des réponses aux items (TRI), ont été incluses.

Les solutions : des méthodes et un cadre communs qui s'appuient sur les évaluations existantes au niveau des pays

Sous la direction de l'Institut de statistique de l'UNESCO (ISU) et avec le soutien d'organisations partenaires, des solutions ont été développées ces dernières années pour permettre aux pays d'améliorer la qualité de leurs données sur les apprentissages, en s'appuyant notamment sur leurs évaluations existantes :

1. Il existe désormais un accord sur les niveaux de compétence minimum (MPL) qui permettent le reporting pour l'indicateur ODD 4.1.1 ;
2. Il existe désormais un cadre commun convenu pour mesurer les principaux résultats de l'éducation en lecture et en mathématiques notamment. Appelé Global Proficiency Framework, il livre des conseils d'experts pour mesurer ce qui compte, c'est-à-dire les compétences que les élèves doivent acquérir pour maîtriser la lecture et les mathématiques ;
3. Des méthodes rigoureuses ont été développées pour renforcer les évaluations de l'apprentissage existantes (aux niveaux national, international et basés sur les ménages) et les relier à ce cadre commun.

Ces nouvelles méthodes comprennent :

• Une méthodologie connue sous le nom de « policy linking », qui repose sur les jugements d'experts et permet aux pays d'utiliser les résultats de leur évaluation nationale sous certaines conditions pour établir des rapports à l'échelle mondiale ;
• L'évaluation des niveaux de compétence minimum (AMPL), qui consistent en des cahiers de test destinés à mesurer l'atteinte d'un seul niveau de compétence, et le niveau de compétence minimum en lecture et en mathématiques, qui sont mis à disposition pour intégration dans les évaluations nationales , afin de renforcer leur fiabilité et de permettre des comparaisons dans le temps et entre les pays. Ceux-ci sont actuellement testés dans cinq pays ;
• Les évaluations internationales qui permettent une meilleure comparaison internationale des résultats d'apprentissage, telles que le PASEC en Afrique et le LLECE en Amérique latine, qui sont maintenant rigoureusement liées à une norme d'apprentissage internationale permettant aux pays participants de rendre compte des résultats sur une métrique comparable ;
• L'enquête de l'UNICEF auprès des ménages MICS, qui aligne désormais le module sur les résultats d'apprentissage (en anglais) sur le nouveau cadre de compétence mondial et ajoute un module pour rendre compte de la pauvreté des apprentissages.

Le Learning Data Compact (en anglais), lancé l'année dernière, a réuni nos institutions pour faire le point sur les lacunes en matière d'apprentissage et a fourni un cadre sur la manière dont les pays, les partenaires de développement et les donateurs peuvent travailler ensemble pour combler ces lacunes.

L'UNICEF, la Banque mondiale, l'UNESCO et leurs partenaires se sont engagés à aider tous les pays à disposer d'au moins une mesure de la qualité de l'apprentissage sur deux niveaux et deux matières d'ici 2025 ; et deux mesures de l'apprentissage sur deux niveaux et deux matières d'ici 2030.

Atteindre cet objectif à temps nécessitera d’accélérer l'usage de ces solutions pour renforcer les évaluations existantes et les utiliser pour mesurer les progrès de manière fiable.

Pour en savoir plus sur ces options et sur ce qui peut être le plus approprié pour votre pays, nous vous invitons à consulter et à nous faire part de vos commentaires sur la boîte à outils sur les données sur l'apprentissage (Learning Data Toolkit en anglais) et à consulter les dernières directives de l'ISU, pour mesurer ce qui compte.