L’évaluation est un des marronniers de la formation. Elle est abordée sous différents angles. Souvent, c’est par le bais du retour sur investissement que le sujet est abordé, le fameux ROI de la formation. Savoir ce que rapporte une formation, pour réaliser une analyser coût bénéfice et optimiser ainsi le choix de formation. L’évaluation est au cœur du processus de formation. Mais qu’est-ce qu’on évalue au juste ? La fiche d’évaluation, est-elle la bonne modalité pour évaluer une formation ? Certains parlent d’une modalité obsolète portée par une bureaucratie qui préserve une relique d’un autre temps, que faut-il en penser ? Faut-il abandonner la fiche d’évaluation post-formation ?
1, Quel est l’état des lieux ?
L’évaluation est une obligation. Depuis, la loi du 5 mars 2014, « la loi relative à la formation professionnelle, à l’emploi et à la démocratie sociale », l’évaluation est devenue une obligation légale. Cela fera bientôt 10 ans que cette obligation existe. C’est à la fois beaucoup et peu. Peu, car la pratique existait bien avant 2014, c’est la formalisation qui fait la différence sans spécialement préciser ce que cette notion recouvre. Chacun peut évaluer comme il le veut. 10 ans, c’est suffisant pour faire un bilan. A quoi a servi cette obligation ? Il s’agit d’une contrainte, mais pour quelle finalité ? S’agit-il comme certains le pensent d’un outil oublié d’un monde qui n’existe plus ou d’un levier pour agir sur la qualification d’aujourd’hui ? On peut noter deux angles de réponse.
Lorsque l’on regarde le taux de retour des fiches d’évaluation post-formation, on est de l’ordre de 80 / 20, 80 de non-retour, autrement dit sur un groupe de 10 participants seulement 2 répondent. Et là, c’est lorsqu’il s’agit de l’évaluation au chaud, juste après la formation, c’est pire avec le « à froid » dont la majeur partie ont abandonné la pratique. Harmut Rosa a montré que le temps est une donnée sociale. Aujourd’hui, avec l’accélération du temps, l’évaluation à 4 mois n’a plus le même sens qu’à la fin du 20ième siècle. L’apprenant est passé à autre chose. Le temps du reporting est un temps qui doit avoir une résonnance sociale. A quoi sert ce reporting pour le service formation ? Bien souvent, par défaut, lorsqu’il y a une défaillance, un clash, le responsable de formation s’enquière des évaluations, mais dans la pratique nombre d’entreprises ne font que remplir leur obligation légale, il faut le faire et donc c’est fait. Il n’y a pas de politique de valorisation de la data.
L’autre angle de réponse est de savoir comment évaluer une formation. Si le modèle que Donald Kirkpatrick, proposé en 1959 pour la première fois, sert de référence. La mise en application d’indicateur pose souvent problème. Avec la montée en puissance des soft skills on assiste à un changement des modalités d’évaluation, si une connaissance peut être évalué par exemple avec un quizz, une compétence, c’est déjà plus délicat, une compétence sur les soft skills encore plus. Comment évaluer une formation de gestion du stress de deux jours ? Devant la difficulté, deux stratégies ont été possibles soit revenir à la satisfaction de l’apprenant, premier niveau ; soit abandonné l’évaluation sur le fond. La fiche d’évaluation en fait le minimum, ce que la loi dit. (Il existe comme nous l’avons vu des alternatives https://affen.fr/pedagogie/comment-les-soft-skills-deviendront-elles-des-hard-skills/)
2, Changer la feuille d’évaluation
La feuille d’évaluation prend la forme d’un lien mail envoyé à l’apprenant post formation pour qu’il puisse répondre à un certain nombre de questions ouvertes et fermées. La numérisation a permis la transformation de la feuille d’évaluation à un lien dématérialisé. Cette dématérialisation permet un traitement et une scalabilité du support. Chacun acteur de l’écosystème peut avoir accès à l’information pour traiter et améliorer sa contribution. On peut noter que la donnée n’est pas statistiquement significative, en deçà d’un certain nombre de réponses, 30 pour une loi normale, le nombre ne permet pas de dire la chose, et ne permet pas de calculer la marge d’erreur. Pour une formation donnée, la donnée brute n’est pas significative. Le seul atout est qu’elle peut subir des transformations pour proposer une véritable analyse. La data doit être transformée.
Mais il est aussi possible de changer le support d’évaluation. Si le mail a été inventé en 1971 et est rentré dans les pratiques de formation, il existe d’autres supports. En 1992, le SMS a permis de s’imposer dans les pratiques, mais pas encore de formation. Il y a peut-être quelque chose à creuser dans cette direction. Certains service de formation ont tenter l’expérience et ont des retours de pratiques intéressants. Le temps social du SMS n’est pas le même que celui du mail. Il permet une réactivité, une évaluation à chaud beaucoup plus intéressant avec des taux de réponse beaucoup plus fort. A la réponse « Vous avez assisté à une formation XXX, votre avis est important pour améliorer la qualité de la formation… ». La question est souvent une question fermée, mais rien n’empêche la question ouverte sous réserve du traitement de l’information. Les erreurs de frappe sont plus nombreuses et le traitement informatique nécessite un effort algorithmique.
La collecte de la data peut prendre bien des formes. Mail, SMS, mixte des deux avec des SMS pour demander si l’apprenant accepte de répondre à une série de question mail (mais mobile, ce qui n’est pas la même présentation), ou des outils dédié comme Beekast ou Klaxoon qui sont même plus intéressant pour la collecte. En effet, les API qui favorisent l’interaction permettent aussi d’avoir individuellement et collectivement un suivi de chaque étape de la pédagogie choisie, mettant en évidence les points forts et les points de progrès, à chaud. Cela évite les notes de fin de parcours qui surestime les derniers moments de la formation. Une politique d’évaluation nécessite de penser tout à la fois la collecte de l’information, mais surtout le traitement que l’on désire ensuite. Sans être data scientist, le responsable de formation doit penser une politique de learning data.
3, Quelle est la finalité de la fiche d’évaluation ?
La formation est construite de façon assez simple, il suffit de définir des objectifs pédagogiques que ce soit sous forme de connaissances ou de compétences, et une fois bien identifiées les connaissances et/ou les compétences, la pédagogie construit l’ordonnancement pour atteindre les dits objectifs. L’évaluation peut porter sur deux points l’efficacité, savoir si l’objectif a été atteint ou l’efficience, sur le déroulé de la formation. L’évaluation ne prend pas la même forme et n’est pas piloter de la même manière. La difficulté se fait jour quand l’objectif est mal calibré, il devient de plus en plus difficile de dire s’il a été atteint et de quantifié cette obtention. C’est la raison pour laquelle les évaluateurs préfèrent comme indicateur la satisfaction de l’apprenant.
L’horizontalisation de la formation nécessite aussi de construire des modalités d’évaluation adaptées. La communauté apprenante support possible d’une pairagogie permet une analyse des wordings pour évaluer les niveaux de chacun et de tous avec un simple algorithme. Et effectivement, le social scoring devrait devenir un outil qui s’impose dans une politique qui vise à « remettre l’apprenant au centre de la formation ». La spécificité du social scoring est que non seulement chaque apprenant donne son avis, mais aussi connaît l’avis des autres pour construire son propre avis. C’est la problématique du « TripAdvisor de la formation ». Mettre l’évaluation en société et reprendre les codes de la société pour construire une modalité d’évaluation de son temps.
La bonne question est de s’interroger sur la finalité de ce processus. Si l’on revient sur la finalité de l’évaluation l’efficacité ou l’efficience. L’indicateur peut prendre son sens. S’il s’agit de l’efficience, une amélioration du processus de formation reste à construire des indicateurs politiques. Le multicanal a de nombreux retours d’expérience qui ne demande qu’à être tester dans les entreprises. Par exemple, si l’on choisit l’horizontalisation de la formation et la politique de l’apprenant first, pourquoi ne pas proposer à l’ensemble des apprenant de mettre un « merci » pour le formateur et qu’il reçoive directement l’information, c’est motivant, stimulant et redonne du sens à la prestation. Erotiser la feuille d’évaluation pour favoriser l’engagement et la prise de parole de l’apprenant. Il s’agit d’une courbe d’apprentissage et pour que cela marche, il s’agit qu’on informe de l’usage qui est fait de leur évaluation, là est le secret.
La feuille d’évaluation est un symptôme. Il est le reflet d’une politique de formation. Elle peut tout aussi bien être le reflet d’une politique a minima, faire ce que la loi oblige, ni plus ni moins, une politique contrainte. Mais elle peut être un outil progressif, qui veut faire progrès social. Et le social semble être la montée en puissance de l’intelligence collective (Howard Rheingold, 2005), le travail d’accompagnement est de faire transition pour piloter le changement. Ivan Illich (1971) parlait d’apprenant « auteur » de leur apprentissage. Peu importe les modalités, le fond de l’affaire est que dans un monde en transformation, plus que jamais les entreprises ont besoin de formation pour assurer la transition aussi bien sur les connaissances que sur les compétences, et que les outils de pilotage n’ont de sens que si l’entreprise à fait le choix d’une politique de transformation… finalement, on a la feuille d’évaluation qu’on mérite.
Fait à Paris, le 14 novembre 2023
@StephaneDIEB pour vos commentaires sur X (ex-Twitter)
