Évaluation externe

L’évaluation externe a été menée fin 2013 par un groupe d’évaluateurs, sélectionnés après un appel d’offres et des termes de références validés par l’Agence française de développement (AFD).

Dans leurs conclusions, les évaluateurs notent : "La conception pédagogique a été extrêmement sérieuse, avec une équipe mobilisée et compétente. Les délais de réalisation ont été sans doute longs en partie du fait de la période initiale d’incertitude sur le maintien du projet. Le point faible de ce volet concerne cependant  le décalage entre le public cible et le public testé avant le démarrage de l’opération. Les enseignants sur le terrain en zone rurale ont un niveau très faible, de fait le niveau des livrets pédagogiques est trop élevé. 

Le projet en tant que projet expérimental particulier s’est bien déroulé, il a souffert d’un climat de crise qui a conduit à choisir l’Institut National de Formation Pédagogique comme correspondant administratif et financier et les instances du Ministère de l’Éducation Nationale déconcentrées comme partenaire dans l’action. En conséquence, il est difficile d’évaluer le transfert méthodologique potentiel. On ne peut non plus clairement évaluer l’impact que pourrait avoir le dispositif sur le public des enseignants non fonctionnaires, plus que majoritaires dans l’enseignement primaire, qui n’ont malheureusement pas été intégrés dans l’expérimentation. 

Le coût de l’opération est raisonné et raisonnable. Les surcoûts sont essentiellement dus aux conditions initiales de montage avant la crise politique. L’investissement dans l’opération Mobile Learning est très raisonnable et d’un impact vérifiable. 

Sur le plan technologique, les espaces numériques ne paraissent pas adaptés à un tel dispositif de formation continue des maitres en poste. 

Projet innovant le mobile learning apparaît comme la clé de l’innovation de ce projet, avec l’utilisation du téléphone portable comme mise en réseau de la formation et support de contenus. En dehors, de la bonne réalisation du projet par l’équipe, c’est le point fort, innovant et extrêmement prometteur d’IFADEM Madagascar qui a évidemment vocation à être étendu à la plupart des autres activités IFADEM conduites en Afrique".

Le rapport présente également des pistes pour tenter d’améliorer l’efficience du dispositif à Madagascar.

"Apprentissage assisté par Mobile" : rapport de recherche

Durant toute la durée de l’expérimentation, un processus d’accompagnement par la recherche a particulièrement suivi l’expérimentation du téléphone portable pour améliorer l’encadrement pédagogique des enseignants. Cet accompagnement a mobilisé l’AUF, Orange et l’ENS d’Antananarivo. Le rapport publié sur le site IFADEM a pour objectif d’évaluer les usages du mobile par les enseignants et tuteurs et à apporter des premiers éléments permettant de juger de l’intérêt de l’introduction du mobile dans le dispositif de formation continue en s’appuyant sur différents types d’informations issues de l’analyse des données de trafic des téléphones mobile, des données de la plateforme d’envoi de QCM par SMS, des données issues de la sonde Androïd installée sur une partie des terminaux, des enquêtes quantitatives et qualitative et des notes obtenues aux évaluations des acquis à l’issue de la formation. Après avoir présenté le programme expérimental de formation mis en place à Madagascar et le profil des participants, le rapport fait le point sur la prise en main du mobile par les enseignants au début du parcours de formation. Il analyse ensuite les usages du mobile en s’attachant plus particulièrement à ceux liés à la formation (participation aux QCM, communication entre participants, écoute des fichiers sonores...). Il étudie également l’impact du mobile sur les apprentissages, en analysant le lien entre la participation à la campagne de QCM par SMS et la réussite aux évaluations finales.