Le décret n° 2015-790 du 30 juin 2015 relatif à la qualité des actions de la formation professionnelle continue fixe les critères d’appréciation de la capacité des organismes de formation à dispenser des actions de qualité. Mais comment évaluer cette qualité ?
Ogranismes de formation : le guide pour évaluer l’appréciation de vos stagiaires
Le décret n° 2015-790 présente une liste de critères à respecter par les Organismes de Formation (OF), dans le but de garantir la qualité des formations financées. Les vingt OPCA (financeurs de formations) ont défini une série d’indicateurs clarifiant et normalisant les actions à effectuer par les OF afin de répondre aux critères dudit Décret.
Mais comment mettre en place concrètement cette évaluation ?
Nous nous intéresserons plus particulièrement ici au critère numéro six : « la prise en compte des appréciations rendues par les stagiaires ».
Ce critère numéro 6 est composé de trois indicateurs d’évaluation rédigés conjointement par l’ensemble des OPCA.
Indicateur 1 : produire une évaluation systématique des actions de formation
Ce premier indicateur implique que l’OF ait la « capacité de produire des évaluations systématiques et formalisées des actions de formation auprès des stagiaires ».
Pour cet indicateur, quels éléments de preuve sont demandés aux OF ?
Protocole d’évaluation (chaud ou froid)
Répondre à ce protocole d’évaluation implique que les l’OF s’équipent d’un dispositif d’enquête moderne et intégrant les deux modes de recueil (chaud et froid). De plus, si la solution est suffisamment évoluée, elle vous permettra de répondre aux indicateurs 2 et 3.
Le recueil de l’opinion des stagiaires
L’Organisme de Formation devra évaluer le contenu des formations proposées auprès des stagiaires, à différents stades de la formation et sur une multitude de sujets.
Ce travail paraît fastidieux sans un processus de recueil des opinions automatique ou semi-automatique. Les enquêtes en ligne par questionnaire « CAWI » (Computer Assited Web Interview), seront à l’évidence les plus pratiques : elles permettent de soumettre aux stagiaires un questionnaire personnalisé et / ou standardisé directement depuis un ordinateur / Smartphone, d’horodater l’envoi des questionnaires et de procéder à des analyses fiables et automatiques.
L’indicateur 1 précise que les évaluations se doivent d’être « systématiques et formalisées ». En conséquence, chaque étape importante de la formation, demandera une évaluation.
Exemple d’évaluation d’une action de formation à chaud
Étape 1, définir les sujets d’évaluation : module de cours, formateurs, …
Étape 2, créer un questionnaire grâce à une solution d’enquête en ligne.
Les questionnaires présentés (images ci-après) ont été conçus grâce à la solution d’enquête proposée par GIDE.
Q1 (question1)
Vous venez de terminer 6h de formation consacrées au module, Management de Site Web, quelle satisfaction donneriez-vous à ce que vous avez appris dans ce module ?
a) Très satisfait, b) Assez Satisfait, c) Peu satisfait, d) Pas du tout satisfait
Selon les réponses données, la question 2 peut être filtrée. Imaginez le cas d’un stagiaire qui répondrait « Peu satisfait » ou « Pas du tout satisfait ».
Adaptez alors la question 2 en fonction des réponses « Peu satisfait » et « Pas du tout satisfait ». Dans l’image ci-dessous, le q2 en bas est filtrée et n’apparaîtra qu’aux conditions de réponse à la q1 : « Peu satisfait » et « Pas du tout satisfait ».
Q2 (Question 2 )
Choisissez une question pertinente, par exemple « Pourquoi n’êtes-vous pas pleinement satisfait de ce module ? »
En suivant ces exemples, vous recueillerez à la fois des données quantitatives (question 1), mais aussi qualitatives (question 2) et vous évaluerez correctement les appréciations de vos stagiaires.
Étape 3 : déploiement du questionnaire auprès des stagiaires
Lorsque vos questionnaires sont programmés, vous pouvez organiser un déploiement par email vers votre liste de contacts (les stagiaires). Réglez une date d’envoi, à la fin d’un module par exemple et prévoyez une relance le lendemain pour les stagiaires qui n’ont pas répondu la veille (l’évaluation est à chaud). Il est aussi possible d’envoyer un lien vers le questionnaire par SMS pour augmenter le taux de réponse. Ci-dessous un exemple du processus à suivre pour un envoi d’email d’invitation à répondre à votre étude.
L’envoi d’emails permet d’identifier les répondants en vue de réaliser divers tris et statistiques selon leur âge, sexe, CSP, etc.
Exemple d’évaluation d’une action de formation à froid
Faisons l’hypothèse d’une enquête en fin de formation (à froid donc) : elle se composera d’un questionnaire assez long, reprenant quelques éléments des enquêtes soumises en fin de module (les enquêtes à chaud évoquées dans la partie précédente), mais aussi des questions d’ordres générales et de satisfaction globale.
Dès lors, certains résultats de cette enquête permettront l’analyse comparative des modules « à chaud » et « à froid ».
L’ensemble de la démarche répond à l’indicateur 6.1 : « Capacité de l’OF à produire des évaluations systématiques et formalisées des actions de formation auprès des stagiaires ».
Indicateur 2 : décrire les modalités de recueil de l’impact des actions de formation auprès des prescripteurs
Qui sont les prescripteurs de l’action de formation ? Les entreprises le plus souvent.
Pour cet indicateur, quels éléments de preuve sont demandés aux OF ?
Existence d’enquête auprès des entreprises pour connaître l’impact de l’action
Pour ce faire, l’OF doit avoir la possibilité de procéder à des études en ligne post formation et destinées aux prescripteurs afin de mesurer quel a été l’impact de la formation au sein de l’entreprise.
Un module d’emailing aidera une nouvelle fois à cette tâche. Envoyez vos questionnaires par email mais cette fois ci à destination des entreprises. Pour augmenter le taux de réponse, définissez judicieusement le sujet afin que l’entreprise se sente concernée et prenne le temps d’y répondre.
À quels moments devriez-vous recueillir ces informations ? Le rythme des enquêtes n’est pas formalisé (absence d’instruction dans le décret ou les indicateurs), un suivi post formation à, + x semaines, auprès des employeurs dépendra de chaque OF, selon la formation suivie par le bénéficiaire.
Ci-dessous un exemple de questionnaire destiné à mesurer l’impact d’une formation lors du retour d’un employé en entreprise.
Filtrons la question 2, selon que le répondant coche la modalité, « Oui » pour l’Item, « Compétent ».
Q2 : « Votre salarié a gagné en compétences, pouvez-vous détailler lesquelles ? ».
La question Q2 qui est une question de type ouverte permet de recueillir des Verbatims et d’approfondir vos analyses.
Indicateur 3 : partager les résultats des évaluations avec les parties prenantes (formateurs, stagiaires, financeurs, prescripteurs)
Pour cet indicateur, quels sont les éléments de preuve associés ?
Descriptif des modalités de partage des évaluations avec les parties prenantes
Ce critère sous-entend des fonctions d’exportation de résultats, puissantes et multisupports : Power Point / Word / Excel / Libre Office, Spss, R, etc.
Les évaluations se doivent d’être accessibles aux statisticiens comme aux non-statisticiens. Envisagez une page Web dédiée sur votre site Internet avec accès limité (selon le profil du visiteur) qui présentera les données d’enquêtes (graphiques dynamiques, filtres, tableaux, camemberts, …). Dans l’image prise en exemple, la fonction de tris à plat est intégrée à la solution d’enquête GIDE.
Ci-dessous, la fonction de croiseur en ligne de cette même plateforme d’enquête.
Sur la gauche, les variables de l’enquêtes (les questions), au-dessous les modalités. Faites glisser les variables et modalités en live dans les lignes et colonnes pour visualiser les données qui vous intéressent. Puis, comme dans les encadrés rouges, appliquez des pondérations, des filtres, modifiez l’affichage des graphiques et exportez-les en quelques clics.
Ces présentations peuvent être partagées ou non avec tout ou partie des parties prenantes.
Organismes de Formation : abandonnez les enquêtes papier !
L’avantage des études en ligne en complément des enquêtes papier repose sur le gain de productivité engendré à tous les stades de l’étude : collecte, traitement, restitution et analyse des données d’études. Le processus est automatisé et peut s’enrichir facilement de nouvelles enquêtes à mesure que l’OF se développe. L’exportation auprès des partenaires est d’autant plus facilitée que la plateforme d’enquête est accessible sur le Web.
Quant à la fiabilité de la solution et l’étendue de ses possibilités, il vaut mieux éviter les solutions gratuites telles que Survey Monkey ou Google Forms, car elles sont très limitantes (langues, accès aux données, confidentialité des données, filtres, etc.) et en-deçà des exigences portées par le décret.
Pour toutes questions, n’hésitez pas à nous contacter !
