Je reprends ici l’expression de Jonathan Pottiez, "Construire la chaîne de preuves", au chapitre 7 de son livre « L’évaluation de la formation ». Puisque la valeur de la formation procède de sa bonne intégration dans un système aux acteurs multiples, les différentes évaluations – résultats, acquis, transfert … » ne sauraient constituer à elles seules la « chaîne de preuves ».
Il s’agit d’abord de définir et de faire respecter les conditions de la création de valeur. Puis d’établir la preuve, au moyen des évaluations, du fait que les conditions de l’efficacité ont bien été présentes, et que les résultats sont au rendez-vous.
Faire respecter les conditions de la création de valeur
Pour faire respecter les conditions de la création de valeur, je propose d’utiliser une check list, depuis les préalables à la décision d’engager une formation jusqu’au suivi de celle-ci.
Les évaluations de satisfaction et de transfert, pour autant qu’elles posent les bonnes questions, viendront attester :
- le point de vue des participants – et le cas échéant de leurs managers : les conditions de la création de valeur sont-elles bien présentes de leur point de vue ?
- les résultats constatés : acquis, transfert observés, impacts qualitatifs et quantitatifs.
La chaîne de preuves est donc constituée à la fois de points à vérifier sur une « check list », et des résultats des évaluations.
On peut en faire la synthèse suivante :
ROE versus ROI ?
Dans son livre précité, J. Pottiez propose de « privilégier le ROE au ROI » (p. 35). Le calcul du « Retour sur Investissement Formation » pose en effet de gros problèmes méthodologiques : quantifier l’impact, isoler ce qui relève de la formation versus ce qui relève d’autres facteurs… Finalement, écrit en substance J. Pottiez, lorsque les commanditaires demandent le ROI ils veulent en fait savoir, la plupart du temps, « ce qu’ils vont retirer de la formation ».
Plutôt que de se lancer dans des calculs complexes, à la fiabilité incertaine, il est donc préférable d’adopter une approche « Retour sur les attentes » (Return on expectations, ROE en anglais). On vérifie que les objectifs opérationnels, et les indicateurs qui leur sont associés, sont effectivement atteints, du point de vue des différentes parties prenantes. C’est pourquoi, sur le tableau ci-dessus, j’ai situé le ROE à la fois sur le transfert et sur l’impact.
En effet, un objectif opérationnel peut être exprimé sous forme de comportement observable. Par exemple « Conduire les entretiens professionnels », « Utiliser le CRM ». Et son degré d’atteinte pourra alors être évalué lors de l’évaluation du transfert. D’autres objectifs opérationnels sont explicitement liés à des objectifs de performance. Exemple « Vendre le produit xyz44 » - le ROE se traduira alors par une évaluation de l’impact de la formation.
Comme l’indique ce billet du blog Training zone (je traduis) « ROE : la démonstration ultime de la preuve de la valeur », le ROE a l’avantage de pouvoir se mesurer simplement. (..) Son grand avantage, c’est que les parties prenantes sont libres de déterminer ce qui leur importe, et que vous, en tant que professionnel de la formation, êtes en mesure de déterminer avec leur accord les meilleurs moyens de mesurer les résultats. Le ROE est exprimé dans un langage compris par le business (…) ».
A noter que cette notion de ROE ne fait pas l’unanimité. Il est en particulier critiqué par les Phillips père et fils, ce qui est assez naturel lorsque l’on pense que c’est Jack Phillips (le père) qui a ajouté un 5ème niveau « ROI » aux 4 niveaux de Kirkpatrick. Dans « The Myths of Return on Expectation », ils critiquent le fait qu’en réalité, l’expression ROE masque le plus souvent, de leur point de vue, une simple évaluation de niveau 1 – c’est-à-dire de la satisfaction. S’il s’agit de prouver un résultat, lié à la formation, en terme de productivité, de ventes, de qualité, alors pourquoi ne pas nommer ce résultat « impact », demandent ils.
La critique mérite d’être prise en compte, parce qu’elle attire notre attention sur l’importance de la rigoureuse définition des objectifs opérationnels de la formation. J. et P. Philips prennent ainsi l’exemple d’un commanditaire qui, au moment d’exprimer ses attentes vis-à-vis d’une formation au leadership, déclare « mon attente, ce sont des vrais comportements de leaders. Pas la peine de collecter des données. Je vous dirai si les résultats répondent à mon attente ». Effectivement, avec une telle expression du besoin, impossible de constituer la chaîne de preuves.
Mais, me semble-t-il, ce n’est pas tant le terme « ROE » qui est en cause, que le mauvais usage qui en est fait dans cet exemple. Si le terme « ROE » avec son côté anglo-saxon, rassure vos interlocuteurs, tant mieux. De votre côté, l’important est d’assurer la solidité de la chaîne de preuves.
Pour cela, il est essentiel de se doter d’une « check list » des points à vérifier. Elle sera l’objet d’un prochain billet.
