Evaluation de la formation, les autres approches (2)

Par le 16 janvier 2012

L’approche la plus souvent présentée de l’évaluation de la formation ne s’intéresse qu’à ses effets : ce sont les approches de Kirkpatrick et de Philips, par exemple, déjà commentées dans des billets précédents. Mais Chochard et Davoine, dans leur article « A quoi sert la formation managériale et comment évaluer son retour sur investissement? » notent qu’il existe une autre approche de l’évaluation, qui ne se focalise pas seulement sur les résultats mais également sur « les inputs, le processus et le contexte organisationnel de la formation ». Une exploration de ces autres méthodes peut nous permettre de sortir de « l’impasse du ROI ».

Explorons ces autres méthodes. Je m’appuie ici sur l’article de Martin Schmalenbach « Training Evaluation » et sur celui A. Dunberry et C. Péchard « L’évaluation de la formation dans l’entreprise, état de la question et perspective« .

  • Le modèle CCIP (Context, Input, Process, Product) de Stufflebeam (1971) est « systémique ». L’évaluation porte sur :
  1. Le contexte : évaluation de l’étude de faisabilité, du cahier des charges et de la sélection des participants
  2. Les intrants (inputs) : évaluations des ressources (humaines, matérielles, financières) mises à disposition pour la formation
  3. Le processus : évaluation de la mise en oeuvre du déploiement
  4. Les produits : évaluation des effets de la formation
  • Le modèle CIRO développé par War et al. (1970) évalue le Contexte, les Intrants (Inputs), les Réactions et les Produits (Outcomes). Il intègre donc des éléments de contexte et de résultats. L’évaluation des résultats est présentée en trois niveaux qui rejoignent ceux de Kikpatrick.

Les deux modèles utilisent les mêmes techniques que Kirkpatrick et Philips pour évaluer les résultats : groupe témoin, estimation de la part de variance liée à la formation par des experts…

Ils ont l’énorme avantage de ne pas se limiter à un constat a posteriori, mais de jalonner l’ensemble de l’action, de la qualification des besoins à l’analyse des résultats. Et, surtout, ce sont les seuls qui intègrent le contexte : pour cette raison, il me semble que l’on ne peut pas ignorer ces approches. Elles relèvent d’une approche systémique, en  remettant la formation dans son environnement.

Elles répondent ainsi aux points relevés par Y. Chotard et E. Davoine dans leur article précité : La « spécificité contextuelle et humaine de l’investissement en formation confère à l’entreprise qui investit un avantage concurrentiel difficilement imitable par ses concurrents ». « En même temps, l’investissement en formation a une rentabilité difficile à évaluer, car fortement dépendante de critères qualitatifs et humains ainsi que de facteurs contextuels (Cadin, Guérin, Pigeyre, 1994).

D’ailleurs, la méthode de l’évaluation par la valeur utilité définie par Chochard et Davoine  permet de mixer évaluation du résultat et évaluation des processus, et d’aller jusqu’au retour sur investissement tout en mettant en évidence l’impact des facteurs contextuels sur le résultat.

Nous avons vu que les résultats de leur étude sur l’efficacité comparée de 5 formations managériales mettaient l’accent sur l’importance des éléments contextuels : opportunité de transférer, soutien de l’entreprise, anticipation de conséquences positives du transfert des acquis…

Dans le même esprit, François-Marie Gerard, dans un article publié en 2003 dans la revue Gestion 2000 (Vol. 20, n°3, 13-33) proposait « d’inférer l’impact (des actions de formation) à partir de l’évaluation de trois autres dimensions :

  • La pertinence : les objectifs de la formation sont ils les bons ? au bon moment ? pour les bons destinataires ?
  • Les acquis
  • Le transfert

Et F.-M. Gerard propose la formule suivante :

Impact = Pertinence x Acquis x Transfert

Ce que j’aime bien dans cette formule, c’est qu’elle fonctionne comme un produit. Si l’un des éléments est égal à zéro, c’est tout l’impact qui se trouve réduit à néant…

Dès lors, une méthode se dessine :

  • Mettre des indicateurs de processus sur chaque étape des projets de formations
  • Travailler finement l’évaluation « de satisfaction », sa conception, son dépouillement, son analyse
  • Explorer les manières les plus opportunes d’évaluer la réalité des acquisitions de connaissances/ savoir faire (nous en reparlerons)
  • Mettre en oeuvre un processus efficace d’évaluation du transfert

La recherche nous montre qu’il est alors possible de réunir toutes les informations de nature à prouver par inférence l’impact de la formation, et aussi de prendre les bonnes décisions tout au long du processus de conception et de déploiement de l’action.

La quantification de l’impact, la valorisation monétaire du retour sur investissement, n’apparaissent alors plus comme un « Graal » mais simplement comme une démarche située dans une approche particulière, qui peut être mise en oeuvre si certaines conditions sont réunies – l’une étant de disposer d’un bon statisticien…

Dans leur article, Chotard et Davoine indiquent que la formation  » est considérée comme une des méthodes les plus efficaces pour augmenter la productivité des individus, pour communiquer des objectifs organisationnels à de nouveaux employés » (Arthur, Benett, Edens et Bell, 2003), et pour gérer et anticiper les changements rapides des marchés (Rothwell et Kolb, 1999) ». Et c’est parce que la formation est un facteur d’avantage concurrentiel qu’il faut l’évaluer. Ainsi, Phillips et Gaudet (2003) « remarquent que les organisations qui n’ont pas recours à des évaluations détaillées ont tendance à réduire ou à supprimer leurs budgets de formation, alors que les organisations qui y ont recours augmentent leur budget de formation ».

En cette période d’austérité, à bon entendeur…

Autre dossier sur le même thème

Laisser un commentaire

Avatar

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Mathilde Bourdat

Mathilde Bourdat Il y a 9 années

@ Antoine
Bonjour, et merci de votre intérêt pour ce billet. Oui, l’évaluation est nécessaire, même dans les petites structures: lorsqu’il n’y a que 30 salariés, il est difficile de les rendre disponibles pour partir en formation, et chaque action compte d’autant plus. Il me semble que ce n’est alors pas nécessaire de sous traiter, compte tenu du petit volume d’actions.Il faut juste s’assurer de la rigueur de la méthode.
Bien cordialement
Mathilde

Répondre
Avatar

Antoine NEYRAND Il y a 9 années

Bonjour,

Je découvre avec plaisir votre blog, qui aborde intelligemment les différents thèmes liés à la formation professionnelle.

Concernant les approches d’évaluation de la formation que vous décrivez dans vos articles : ces méthodes sont-elles adaptées et applicable en interne dans les petites structures (PME de moins de 30 salariés)? est-il nécessaire d’externaliser cette évaluation?

Merci pour vos articles.

Bonne fin de semaine,

Antoine

Répondre
Avatar

Jonathan Pottiez Il y a 9 années

Merci pour cet article Mathilde !

Maud > en ce qui concerne le coût de l’évaluation, il y a notamment deux choses à intégrer :

1. L’évaluation « ponctuelle » coûte généralement davantage que la « systématisation » de l’évaluation. Dès lors que l’on souhaite réellement intégrer l’évaluation au processus de formation, le fait de « penser » l’évaluation (ex : définir des objectifs de formation concrets en amont) entre dans les habitudes et ne « coûte » presque plus de temps et d’argent au responsable formation. En revanche, s’il faut remettre la « machine » en route de temps à autre, cela coûte davantage, surtout lorsque l’on confie la chose à des consultants externes.

2. Ce coût est bien évidemment dégressif, car, pour la raison évoquée précédemment, il y a un effet d’apprentissage du responsable formation qui va passer au début du temps sur l’évaluation (car, malheureusement, ça ne fait pas encore partie de ses habitudes…) et qui, progressivement, va s’approprier complètement la démarche. Il constatera alors, par lui-même, que l’évaluation lui fait gagner du temps ET de l’argent. Car, au final, une bon dispositif d’évaluation génère des économies substantielles. Combien de formations inutiles / non pertinentes sont organisées, sans que l’on ne sache que, effectivement, celles-ci sont inutiles / non pertinentes ? … Et ça n’est pas juste avec un questionnaire de niveau 1 (réaction/satisfaction) que l’on s’en rendra pleinement compte…

Répondre
Avatar

Michael Normandin Il y a 9 années

Bonjour à toutes et à tous!

Merci Mathilde, très bel article!

Outre la méthode, je retiens… La nécessité d’evaluer chaque action de formation!

Je vous souhaite une très belle soirée ainsi qu’une excellente semaine.
Michael

Répondre
Avatar

amal bouamama Il y a 9 années

Les processus de conception et réalisation de la formation doivent être bien réfléchis et préparés pour ne pas constituer un risque de dérapage par rapport au résultat attendu de la formation.
En effet, la formation est une réponse à un écart de compétence qui lui même est jugée être une cause de non performance. Ce dernier élement doit être le point de départ pour la validation du besoin de formation. Ainsi, la motivation première de l’apprenant devient éliminer des dysfonctionnements observés dans son activité et en relation directe avec son évaluation annuelle.
A mon avis, l’évaluation du ROI de la formation est un facteur critique de succès pour le management et pour la performance des directions de la formation. La raison d’être de ces dernières ne doit se justifier qu’à travers la retombée sur les performances des activités. Un travail minutieux, selon le degré de développement du processus de pilotage des performances, avec le contrôle de gestion permet d’isoler les causes de non performances des activités/processus et de valider que la compétence en est bien une cause importante dont la levée apporterait un bénéfice immédiat.
Le rapport entre ces éléments, le gain en performance et le coût de la formation, constituerait la mesure du ROI de cette dernière.

Répondre
Avatar

Arnauld de Nadaillac Il y a 9 années

Bonjour
Quelques idées sur ce sujet…
Je pense que tout dépend du niveau auquel on évalue, si c’est le niveau 1 = satisfaction, celà ne coute pas cher mais plus on augmente le niveau plus le coût est élevé: niveau 2 savoir (tests à traiter,…), niveau 3 comportements au travail (temps d’observation, enquêtes, groupes cibles…), niveau 4 = impact (recherche des indicateurs avant et après la formation comme productivité, qualité), niveau 5 (retour sur investissement) étant le plus cher en temps et process d’évaluation.
Dans la formation sur la méthode ROI Jack Philips, on m’a parlé de ratio comme : 100% des formations évaluées niveau 1, 70% niveau 2,, 50% niveau 3, 20-30% niveau 4, 10% niveau 5.
On peut alors avoir besoin de 10-15 jours d’intervention (collecte infos,; traitement, rapport) pour une formation qui fait 3 jours pour 500 personnes par exemple et encore tout dépend de la disponibilité des infos.
Un intérêt de cette approche est de dire aux RH, garder le même budget formation mais réduiser la part mise en oeuvre et augmenter la part évaluation.. et notamment en insistant sur le niveau 3.
De plus on peut les faire travailler sur la création d’une grille positionnant toutes les formations et le niveau d’évaluation correspondant…pour faire réfléchir et se poser des questions.
Pour l’anecdote, les approches calculs ROI pour la formation se développpent dans beaucoup de pays mais les consultants avec qui j’ai suivi cette formation en Angleterre m’ont dit que les Français semble réfractaires à cette approche…

Pas simple quand même…

Répondre
Avatar

Maud Guenot Il y a 9 années

Merci Mathilde pour cet article détaillé.

A combien estimes-tu le coût d’un projet d’évaluation par rapport au coût du dispositif de formation?
J’avais entendu parlé de 10 à 15%.
Je trouve ça utile d’avoir des ordres d’idées de grandeur en tête, pour que les directions formation puissent présenter leur business plan.

Répondre

Abonnez-vous au blog

Afin de vous abonner et pour des raisons de sécurité, votre navigateur doit accepter les cookies et le JavaScript.