Prouver la valeur de la formation – 2 : la chaîne de preuves

Par le 15 décembre 2014

Je reprends ici l’expression de Jonathan Pottiez, « Construire la chaîne de preuves », au chapitre 7 de son livre « L’évaluation de la formation ». Puisque la valeur de la formation procède de sa bonne intégration dans un système aux acteurs multiples, les différentes évaluations – résultats, acquis, transfert … » ne sauraient constituer à elles seules la « chaîne de preuves ».

Il s’agit d’abord de définir et de faire respecter les conditions de la création de valeur. Puis d’établir la preuve, au moyen des évaluations, du fait que les conditions de l’efficacité ont bien été présentes, et que les résultats sont au rendez-vous.

Faire respecter les conditions de la création de valeur

Pour faire respecter les conditions de la création de valeur, je propose d’utiliser une check list, depuis les préalables à la décision d’engager une formation jusqu’au suivi de celle-ci.

Les évaluations de satisfaction et de transfert, pour autant qu’elles posent les bonnes questions, viendront attester :

  • le point de vue des participants – et le cas échéant de leurs managers : les conditions de la création de valeur sont-elles bien présentes de leur point de vue ?
  • les résultats constatés : acquis, transfert observés, impacts qualitatifs et quantitatifs.

La chaîne de preuves est donc constituée à la fois de points à vérifier sur une « check list », et des résultats des évaluations.

 

chaine

 

On peut en faire la synthèse suivante :

chaine-de-preuve (2)

ROE versus ROI ?

Dans son livre précité, J. Pottiez propose de « privilégier le ROE au ROI » (p. 35). Le calcul du « Retour sur Investissement Formation » pose en effet de gros problèmes méthodologiques : quantifier l’impact, isoler ce qui relève de la formation versus ce qui relève d’autres facteurs… Finalement, écrit en substance J. Pottiez, lorsque les commanditaires demandent le ROI ils veulent en fait savoir, la plupart du temps, « ce qu’ils vont retirer de la formation ».

Plutôt que de se lancer dans des calculs complexes, à la fiabilité incertaine, il est donc préférable d’adopter une approche « Retour sur les attentes » (Return on expectations, ROE en anglais). On vérifie que les objectifs opérationnels, et les indicateurs qui leur sont associés, sont effectivement atteints, du point de vue des différentes parties prenantes. C’est pourquoi, sur le tableau ci-dessus, j’ai situé le ROE à la fois sur le transfert et sur l’impact.

En effet, un objectif opérationnel peut être exprimé sous forme de comportement observable. Par exemple « Conduire les entretiens professionnels », « Utiliser le CRM ». Et son degré d’atteinte pourra alors être évalué lors de l’évaluation du transfert. D’autres objectifs opérationnels sont explicitement liés à des objectifs de performance. Exemple « Vendre le produit xyz44 » – le ROE se traduira alors par une évaluation de l’impact de la formation.

Comme l’indique ce billet du blog Training zone (je traduis) « ROE : la démonstration ultime de la preuve de la valeur », le ROE a l’avantage de pouvoir se mesurer simplement. (..) Son grand avantage, c’est que les parties prenantes sont libres de déterminer ce qui leur importe, et que vous, en tant que professionnel de la formation, êtes en mesure de déterminer avec leur accord les meilleurs moyens de mesurer les résultats. Le ROE est exprimé dans un langage compris par le business (…) ».

A noter que cette notion de ROE ne fait pas l’unanimité. Il est en particulier critiqué par les Phillips père et fils, ce qui est assez naturel lorsque l’on pense que c’est Jack Phillips (le père) qui a ajouté un 5ème niveau « ROI » aux 4 niveaux de Kirkpatrick. Dans « The Myths of Return on Expectation », ils critiquent le fait qu’en réalité, l’expression ROE masque le plus souvent, de leur point de vue, une simple évaluation de niveau 1 – c’est-à-dire de la satisfaction. S’il s’agit de prouver un résultat, lié à la formation, en terme de productivité, de ventes, de qualité, alors pourquoi ne pas nommer ce résultat « impact », demandent ils.

La critique mérite d’être prise en compte, parce qu’elle attire notre attention sur l’importance de la rigoureuse définition des objectifs opérationnels de la formation. J. et P. Philips prennent ainsi l’exemple d’un commanditaire qui, au moment d’exprimer ses attentes vis-à-vis d’une formation au leadership, déclare « mon attente, ce sont des vrais comportements de leaders. Pas la peine de collecter des données. Je vous dirai si les résultats répondent à mon attente ». Effectivement, avec une telle expression du besoin, impossible de constituer la chaîne de preuves.

Mais, me semble-t-il, ce n’est pas tant le terme « ROE » qui est en cause, que le mauvais usage qui en est fait dans cet exemple. Si le terme « ROE » avec son côté anglo-saxon, rassure vos interlocuteurs, tant mieux. De votre côté, l’important est d’assurer la solidité de la chaîne de preuves.

Pour cela, il est essentiel de se doter d’une « check list » des points à vérifier. Elle sera l’objet d’un prochain billet.

 

 

 

Autre dossier sur le même thème

Laisser un commentaire

Avatar

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Avatar

Arnauld de Nadaillac Il y a 6 années

Merci Mathilde , trois idées en plus…:
1. Au niveau de l’action de formation, au delà de la qualité (formateur, contenu, moyens, pause café,…) il est important d’évaluer le « buy in » ou la motivation de mettre en oeuvre la formation suivie (on peut la trouver très bonne mais dire à la fin « oui mais chez moi c’est pas possible ») sans « engagement », pas d’espoir d’avoir un changement de comportements
2. Même en s’arrêtant au ROE et sans aller au ROI, on doit alors isoler par des process et méthodes l’impact de nouveaux comportements qui vient de la formation par rapport aux autres facteurs (nouveau manager, nouvelle machine, organisation;…), ce n’est pas simple. Le calcul du niveau 5 est très simple c’est juste une opération mais la difficulté est la fiabilité des données niveaux 3 et 4.
3. Ayant réalisé plusieurs projets de calculs de ROI, je suis tout à fait d’accord que le plus important est la cohérence de la chaine d’impacts aux 4 niveaux avant le calcul financier. Dans tous les cas le résultat ne sera jamais fiable 100% car on évalue de l’humain et pas un objet.
Bonne fête de Noël !

Répondre
    Mathilde Bourdat

    Mathilde Bourdat Il y a 6 années

    Merci Arnauld. intéressant l’idée d’évaluer le « buy in ». Par exemple, est ce que la question « Vous allez appliquer les acquis de la formation dans votre travail » te paraît adéquate pour mesurer le degré de motivation à transférer ? Tout à fait d’accord sur les difficultés méthodologiques, surtout au niveau 4. Je te souhaite une très heureuse année 2015.

    Avatar

    Arnauld de Nadaillac Il y a 6 années

    Oui Mathilde, c »est ce type de question avec une échelle de réponses, pour avoir le niveau d’engagement.
    Très bonne année à toi aussi… avec une petite vidéo…

Avatar

Dubois Jacques Il y a 6 années

Bonjour et merci pour cet éclairage très intéressant. Cela rejoint et complète l’analyse que je proposais récemment sur mon blog.

Bonne continuation.

Répondre
Avatar

ALLORANT Christiane Il y a 6 années

23 bis boulevard Arago 75013 Paris

Répondre
Avatar

DANYEL MONTHON Il y a 6 années

Merci pour ces developpement, est -il possible de prendre part à cett formation cette année avec CEGOS. Les dates svp
merci, de nous ecrire pour une prise en compte dans notre plan de formation
A l’adresse suivante

DANYEL MONTHON CHEF DE SERVICE SUIVI ET EVALUATION CHEZ PAA ABIDJAN
BP V 85

Répondre
Avatar

A.L.Kraus Il y a 6 années

Bonjour,
Analyse intéressante et pertinente de l’évaluation des dispositifs de formation. Me concernant, je me demandais si la nouvelle réforme de la formation professionnelle issue de la loi 2014 ne résulterait pas de l’incapacité à mettre en oeuvre une évaluation cohérente de la formation continue. D’où, l’obligation de passer par des formations certifiantes où l’évaluation repose sur des critères issus de la formation initiale pour une large part des formations certifiantes. Alors que le réel problème c’est la mise en oeuvre d’un processus d’évaluation des performances globales sur le poste de travail.

Répondre
Avatar

orpaillot Il y a 6 années

Bonjour et merci pour cette mise en perspective.

Rien de nouveau sous le soleil. En tant que fournisseur ou partenaire et pour travailler en intra, je constate quotidiennement l’écart qu’il peut y avoir entre une démarche « idéale » et la réalité des moyens alloués à une telle chaîne de preuves » au sein des entreprises et ce pour différentes raisons.
Toutefois, le propos confirme que tout l’enjeu de l’évaluation se trouve dans l’implication des acteurs concernés et notamment les managers.
Le schéma me paraît tout à fait pertinent pour décrire une chaîne de preuves « idéale ». Mais heureusement, la formation contribue toujours davantage à faire rouler le carrosse…

Cordialement

Répondre

Abonnez-vous au blog

Afin de vous abonner et pour des raisons de sécurité, votre navigateur doit accepter les cookies et le JavaScript.