Évaluation et étude d’impact
Le cours
Au terme de cette formation, vous devez pouvoir évaluer l’impact d’un projet :- Concevoir puis opérer le suivi de l’évaluation:
- Distinguer résultats, effets, impact..
- Connaître les « bonnes pratiques »
- Construire et utiliser des indicateurs pour évaluer l’impact
Introduction : présentation des objectifs
Chapitre 1 : Bases de l’évaluation
Partagez votre travail, découvrez le corrigé : Facebook, Twitter #Gestiondeprojet.pm En utilisant le hashtag #ÉvaluationImpact Quiz en 6 questions : Évaluation de projet — Chapitre 1Notes : Fondamentaux de l’évaluation
Action, résultats, effets et impact
- Une action a des objectifs.
- Les résultats sont les changements produits directement par une action. Ils sont à comparer avec les objectifs formalisés avant le lancement d’un projet.
- Les effets sont les incidences directes et indirectes d’une action. Ils correspondent aux résultats et à d’autres dynamiques/contraintes provenant du milieu. Ils peuvent être anticipés, mais avec une marge d’incertitude.
- p.e. Objectifs propres des populations
- L’impact est le changement final à la suite d’une action. Prévoir un impact est plus difficile que la prévision des effets car plusieurs facteurs extérieurs au projet interviennent. Le temps est un facteur car l’impact se juge ex-post, à terme (Il faut attendre “après” la fin du projet puis revenir plus tard pour pouvoir évaluer l’impact)
Objectifs et résultats
- Différence entre objectif et résultat, selon le schéma ci-dessus toute action conduite doit produire des résultats directs.
- Au vu des objectifs initiaux de l’action l’on va voir quels sont les résultats obtenus
- Les résultats se jugent par rapport aux objectifs initiaux.
- Il existe deux visions : quantitative (comparaison d’un écart chiffré) et qualitative (différence de nature).
L’évaluation des effets
- Elle porte sur l’interaction entre l’action menée et l’environnement du projet :
- le public concerné par les effets est plus large que le public cible de l’action
- les stratégies menées par les personnes et les populations sont souvent difficiles à prévoir (cf. Cours Analyse Stratégique).
- et des actions menées en parallèles ont interféré et les effets sont différents de ceux prévus
Apprécier l’impact
- Impact : ensemble des changements significatifs et durables, positifs et négatifs, prévus ou imprévus, sur les personnes, les groupes et leur environnement, ayant un lien de causalité avec l’action.
- L’impact est difficile à anticiper ; pour cela il existe une méthodologie consistant à identifier les enjeux, les acteurs, les parties prenantes…(dirigeants, chefs, élus, groupe fonctionnaires financeur entreprise…) dont on analyse les zones d’incertitudes pour anticiper les stratégies à conduire. ( impact technique, impact économique, impact social impact financier et impact organisationnel
- Lien vers cours sur l’analyse stratégique : Cours d’analyse stratégique
Chapitre 2 : Le processus d’évaluation
Partagez votre travail, découvrez le corrigé : Facebook, Twitter #Gestiondeprojet.pm. Utilisez #Finalité Quiz : Évaluation de projet — Chapitre 2Notes : Le processus d’évaluation
Termes de références
- Il s’agit d’un dossier établi au tout début du projet, pour cadrer et délimiter l’évaluation, et en préciser les objectifs : impacts attendus par une action et indicateurs de mesure, attentes claires du commanditaire vis-à-vis de l’évaluation. Qu’est-ce que l’on cherche à savoir sur une action: impact attendus, moyens de les mesurer… et être clair sur ce que le commanditaire attend de l’évaluation.
- Questions auxquelles les termes de référence répondent : Contexte de l’action (acteurs, milieu, antériorité) ? Que faut-il évaluer (questions évaluatives et critères de réussite) ? Impact attendu (indicateurs et méthodologie d’évaluation) ? Restitution des résultats (à qui et comment ?) Moyens (budget, planification, étapes du déroulement) ?
- Liens :
Modalités de suivi et de construction de l’évaluation
- Différentes formes de suivi : suivi-évaluation et suivi-capitalisation
- Suivi-évaluation : faire régulièrement des points-bilans tout au long de l’action, qui sont des jalons (évaluations intermédiaires), pour améliorer le projet pendant son déroulement. A la fin du projet : évaluation finale. Après l’action, évaluation ex post. Évaluation interne (auto-évaluation) ou externe (audit), menées séparément ou pendant les réunions du projet. On peut évaluer les effets mais aussi le dispositif lui même (implication des acteurs…) permet de faire des changement avant la fin du projet
- Suivi-capitalisation : collecter et analyser régulièrement l’information utile pour agir et évaluer. Mémorisation et stockage de l’information à chaque étape. Nécessité de prendre du recul (observation, écoute, distanciation, environnement de l’action, conservation par écrit les éléments repérés).
Moyens, objectifs, buts et finalité de l’action
- Illustration terminologique par un cas pratique.
- Finalité : idéal vers lequel on tend, faisant référence à des valeurs ;
- But : matérialisation de la finalité = impact attendu (impact concret, non immédiat mais qui se juge ex post) ;
- Objectif : pouvant être ordonné dans le temps ou l’espace, classé comme objectif principal ou secondaire, c’est le résultat attendu d’une action ; atteindre les objectifs doit produire des résultats
- Moyen : financements, outils, compétences, méthodes… tout ce qui permet d’atteindre les objectifs ; indispensables, ils sont à mobiliser en premier.
- Pour réussir une évaluation, il faut prendre en considération les moyens, objectifs, buts et finalités.
Chapitre 3 : Évaluer l’impact
Partagez votre travail, découvrez le corrigé : Facebook, Twitter #Gestiondeprojet.pm. Utilisez #Indicateurs Quiz : Évaluation de projet — Chapitre 3Notes : Construire des indicateurs
L’impact attendu
- Il s’agit de mesurer l’impact réel d’un projet grâce des indicateurs, lesquels sont des signes vérifiables et mesurables qui fonctionnent par comparaison à une référence (situation de départ). Ils permettent de mettre en évidence l’impact réel et sont mis au point à partir de l’impact attendu du projet défini dans les Termes De Référence.
- L’évaluation de l’impact se fait en évaluant tous les effets du projet lors de l’évaluation ex post. Ces effets seront observables et mesurables à l’aide d’indicateurs définis.
Définir les indicateurs
- Exemple d’IFADEM : Impact attendu > Amélioration des compétences professionnelles (pratiques et théoriques) des enseignants. Indicateurs qui dépendent des effets de l’impact attendu :
- Connaissances professionnelles, mesurées à travers un questionnaire remis aux enseignants
- Pratiques de classe, mesurée par l’observation directe à l’aide d’une grille d’observation créée avant (cf. Méthodes de recueil de données)
Lorsque les indicateurs sont définis, il faut élaborer des outils pour les mesurer.
La situation de départ
- Définition de la situation de départ (avant la formation) par l’utilisation d’indicateurs :
- Tous les enseignants passent le questionnaire sur les connaissances professionnelles au début de la formation
- Observation des séances de classe
- Le recueil de ces données au démarrage du projet, à travers les indicateurs, permet de définir la situation de départ.
- Globalement, il est procédé à une démarche déductive.
L’impact réel
- Évaluation ex post : recueil des données sur la situation finale. Elle utilise les indicateurs définis au début du projet, en utilisant la même méthodologie (même outils, mêmes observateurs), pour observer une évolution éventuelle.
- Il s’agit d’une démarche inductive, permettant d’observer l’impact réel, à travers la comparaison des indicateurs en début et fin de projet (situation de départ vs. situation finale), qui permet de mesurer des écarts (évolution, différences) et des dynamiques (permet de se projeter, prolonger une tendance).
- L’observation des écarts et des dynamiques permet d’évaluer l’impact final du projet.
Chapitre 4 : suivi de l’évaluation
Partagez votre travail, découvrez le corrigé :
Facebook, Google+, Twitter #Gestiondeprojet.pm
#SuiviEvaluation
Quiz final : Évaluation de projet — Chapitre 4
Notes : Suivre et valoriser une évaluation
Les critères
Critères = qui permettent de juger qu’une action est plus ou moins réussie
- Ce sont les “angles de vue” permettant de porter un jugement sur l’impact final. Traditionnellement, ces critères sont au nombre de 3 :
- Efficacité : comparaison des résultats aux objectifs prévus (efficacité quantitative ou qualitative) ;
- Efficience : comparaison des résultats aux ressources utilisées (moyens humains et matériels) ;
- Pérennité : vérification que l’action est durable, soutenable, et peut se poursuivre de manière autonome, sans appui extérieur nécessaire.
- D’autres critères peuvent être utilisés : participation de tous, le respect de l’environnement, la cohérence avec d’autres projets…
- Lien : Cours sur le brainsotmring.
- IFADEM : 4 critères, mis au point dans les termes de référence :
- Pertinence : appréciation du bien-fondé des activités par rapport au contexte (cohérence interne = comment le projet a fonctionné globalement mobilisation de moyens et de dispositifs, est-ce que tout a bien fonctionné ensemble et cohérence externe = concordance avec les stratégies bouroundaises, avec les actions entreprises par d’autres acteurs) ;
- Efficacité : degré d’atteinte des objectifs et de l’impact final fixé, taux de réalisation du projet ;
- Efficience : rapport entre les activités conduites et les moyens consommés (étude de coût, notamment intéressant pour le financeur) ;
- Viabilité/Durabilité : capacité des bénéficiaires à pérenniser les actions menées. Est-ce que le système éducatif bouroundais pourra continuer à porter le projet (capacités humaines, techniques, financières ?)
A quoi sert l’évaluation ?
- Contrôle, notamment dans le cadre d’un audit (suivi des procédures et de leur respect). ce qui a été prévu a été réalisé ? vérifier comment le financement à été utilisé ?
- Amélioration, continue dans le cadre des projets futurs. décision à prendre pour s’améliorer dans les projets futurs
- Pilotage, avec d’éventuelles corrections minimes en cours de route. indique ce qui marche et ce qui ne marche pas, permet de faire des changements au cours du projet
- Capitalisation, par la mémorisation de l’expérience, la transformer en savoir et la partager.
- Formation, par une évaluation participative. permet aux acteurs de progresser
- Communication : sur les actions menées, les résultats et l’impact final, etc., diffuser faire savoir ce qu’on a réussi à faire, prouver.
- Participation de toutes les parties prenantes notamment pour la construction des termes de référence. possibilité de consulter toutes les personnes.
- Mesure ; réflexion préalable à l’action ; connaître ses forces/faiblesses ; motivation…
Bonnes pratiques
Qu’est-ce qui fait qu’une évaluation va bien marcher ou pas ?
- Volonté de progresser ou crainte de la remise en cause ?
- Equipe-projet : ouverte aux suggestions d’amélioration ? équipe stabilisée ?
- Convergences d’intérêts des acteurs ?
- Type de management : autoritaire/vertical ou collaboratif/horizontal ?
- Importance accordée à l’évaluation ? (durée moyens financiers et humains? temps de restitution?)
- Suite donnée à l’évaluation ? (des moyens pour appliquer les conclusion, une valorisation, une corvée?)
- Résultats d’IFADEM : Ifadem
Impact et valorisation de projet
Cette fiche est destinée à guider l’étude d’impact et à améliorer la valorisation d’un projet. Elle utilise le système d’indicateurs calibrés présenté dans le cours évaluation de projet (en vidéo : cours évaluation de projet).
Téléchargements
L’évaluation de projet et l’étude d’impact, en pdf et pptx.
- Introduction : présentation des objectifs
- Chapitre 1 : Fondamentaux de l’évaluation
- Chapitre 2 : Le processus d’évaluation
- Chapitre 3 : Évaluer l’impact en mettant en œuvre des indicateurs
- Chapitre 4 : Critères de réussite, bonnes pratiques
Téléchargement de toutes les vidéos et sous-titres, avec les diapositives (314 Mo). Si vous avez des problèmes de connexion internet ou autres coupures de courant, nous vous recommandons d’utiliser un gestionnaire de téléchargement pour pouvoir reprendre le téléchargement s’il a été interrompu.
Pour la formation continue et initiale : licence d’utilisation
- Ces formations sont sous licence Creative Commons « Non Commercial » (cc-by-SA-NC plus précisément).
Elles sont donc gratuites pour votre usage personnel ou dans un cadre 100% bénévole. - Pour toute utilisation dans un cadre professionnel ou un cursus universitaire, le MOOC Gestion de Projet propose des solutions adaptées à votre besoin contactez-nous.
