Back to top

ÉVALUER : AVEZ-VOUS DÉJÀ ENTENDU CE MOT ?

Section: 
Sujets: 

De plus en plus, on vous demande de démontrer l’efficacité et la pertinence de vos projets et pour ce faire vous devez évaluer, n’est-ce pas ?  Évaluer, laisse sous-entendre des procédures difficiles, des analyses complexes et détaillées ainsi que la rédaction d’un rapport.  Toutefois, l’évaluation consiste seulement à évaluer votre travail au fur et à mesure que vous avancez et elle vous permet de comprendre ce qui se passe, ce qui est accompli et les effets ou résultats du projets. Elle vous aide également à déterminer si vos efforts ont des résultats concrets, si vos objectifs ont été atteints tels que prévus pour ainsi prendre un recul pour ensuite soit continuer dans la même voie ou bien se réajuster et de recueillir de l’information qui servira lors de la planification de futurs projets.

Pourquoi évaluer ?

  • Améliorer la façon dont le est dispensé
  • Clarifier le résultat potentiel
  • Planifier les activités de suivi
  • Déterminer l’efficacité
  • Prédire l’efficacité dans d’autres contextes
  • Déterminer les répercussions à long terme
  • Mieux connaître l’impact pour la clientèle
  • Cerner les points faibles et forts du projet
  • Et aussi, justifier un appui financier

Il existe différentes façons d’évaluer vos projets.  Vous pouvez faire des comparaisons avant et après un projet, le rendement prévu et réel, avec les normes idéales ou bien évaluer le fonctionnement.  Dans ce bref article, vous trouverez les grandes lignes d’une évaluation dans l’action.

L’évaluation sommative de l’action permet de porter un jugement sur les effets, sur les résultats d’un programme d’intervention. Le résultat se définit comme ce qui est constaté sur la réalisation d’un objectif du programme auprès des participants dans le milieu.  Ce type d’évaluation cherche essentiellement à établir si la participation au programme a produit des changements chez les participant.  Il faut planifier cette évaluation dès la mise en place du programme car elle doit contenir des éléments de comparaison entre la situation avant le programme et la situation après le programme.


Stratégies utilisées pour attribuer les changements véritables au programme :
 

1.    Comparaison du même groupe avant et après le programme - S’il n’est pas possible de mettre sur pied un groupe témoin, on peut choisir de comparer la situation du groupe avant et après (même après différentes étapes du programme).  Ce modèle permet de déterminer le chemin parcouru par les participants entre le début et la fin, sans toutefois affirmer avec certitude que les changements constatés sont le résultat de la participation au programme.

2.    Évaluation des effets individuels - L’idée de base consiste à comparer les résultats obtenus par différents groupes (participant/groupe de comparaison) ou à différents moments (avant/après).  On peut également obtenir des indications sur les effets d’un programme en s’intéressant aux résultats particuliers qu’il a produits chez chaque participant.  

Si la stratégie repose sur le postulat que les résultats d’un programme peuvent être très différents d’un particpant à l’autre tant dans leur nature que dans leur importance.  L’évaluation cherche donc à documenter ce que les participants au programme a amené comme changement chez chaque participant.  Pour y arriver il est nécessaire de s’appuyer sur les informations suivantes :

  • le portrait de la réalité du participant lors de son entrée dans le programme;
  • la nature de sa participation au programme;
  • le portrait de sa réalaité après la fin du programme.

Si la stratégie repose sur la réalisation d’étude de cas, fait appel donc à une méthodologie qualitative.  Si peu d’information est disponible sur la réalité du participant au moment de son entrée dans le programme, l’étude rétrospective peut être appropriée.  Cette modalité consiste à refaire avec la personne son cheminement dans le programme en identifiant :

  • qu’est-ce qui l’a amenée à participer au programme (ex. que pensez-vous du programme)
  • quelle était sa situation à ce moment là
  • qu’est-ce qu’elle a vécu dans le programme
  • quelle est son opinion du programme
  • quelle est la situation actuelle

Questions pour aider à préparer l’action :

  • Quelle est la nature du problème sur lequel on pense devoir intervenir ?
  • Y a-t-il, dans le milieu, un besoin pour le programme ou le service que l’on veut développer ?
  • Quelles sont les ressources qu’il faudrait consacrer à ce projet ?  Comment les rendre disponibles ?
  • Quels objectifs croit-on devoir proposer ?
  • Qui sera susceptible d’utiliser ce type de service ?
  • Quelles sont les caractéristiques de ces personnes ?
  • Quels sont les objectifs de ces utilisateurs potentiels ?
  • Ces objectifs correspondent-ils à ceux que nous croyons promouvoir ?


Questions pour aider à encadrer l’action :

  • Quels sont les caractéristiques des participants au programme ?  Ces caractéristiques correspondent-ils à ce à quoi nous nous attendions ?  Sinon, en quoi y a-t-il divergence et pourquoi ?
  • Quelles activités sont accomplies par le programme ?
  • Quels temps les participants y consacrent-ils ?
  • À quelle activités participent-ils surtout ?
  • Quel est leur niveau de satisfaction ?
  • Quelles activités du programme ont-ils appréciés le plus ?
  • Combien de participants se sont rendus jusqu’à la fin du programme ?  En quoi sont-ils différents de ceux qui ont abonné ?
  • Comment expliquer les abandons ?

.
Questions pour faire le point sur les activités :

  • Jusqu’à quel point le programme rejoint-ils les personnes qu’il devait, à l’origine, rejoindre ?
  • Jusqu’à quel point les participants ont-ils modifié leurs attitudes et leurs comportements ?
  • Quels efforts les intervenants consacrent-ils aux activités du programme ?
  • Quelles sont les conséquences du programme dans le milieu ?

Et le rapport ....

Le langage : il doit être rédigé dans un style intéressant et clair, mais il peut varier, par la structure et l'accent, en fonction de la personne ou du groupe à qui il est destiné. Par exemple,  si il est destiné en premier lieu au bailleur de fond alors  il s’intéressera davantage aux leçons à tirer sur les stratégies qui donnent les meilleurs résultats au moindre coût.  Les participants au projet, eux, seront intéressés par les leçons à tirer quant aux modes de mise en oeuvre.

La structure : Les rubriques suivant forment la structure de base - le squelette - d'un rapport  d'évaluation.

  • Résumé à l'intention de la direction - Cette partie du rapport s'adresse aux personnes qui n'ont pas le temps de prendre connaissance du rapport intégral.  La longueur conseillée est d'une page - trois au grand maximum.  C'est la première partie du rapport, mais on doit la rédiger en dernier.  Le résumé indique ce qui a été évalué et pourquoi; il énonce les principales conclusions et recommandations.

  • Information de base (naissance du projet) - Cette partie renseigne sur ce qui a précédé l'évaluation : comment le projet a été conçu; pourquoi il était nécessaire;

les buts et les objectifs du projet; qui a administré le projet; les structures organisa-       tionnelles du projet.

  • Description de l'évaluation - Comment on s'y est pris pour tirer les leçons du projet. Cette partie décrit : la méthode d'évaluation et la façon dont elle a été choisie; les buts et les objectifs de l'évaluation; la façon dont l'évaluateur a été choisi et mis au courant; la façon dont les outils d'évaluation ont été conçus et utilisés; la mesure dans laquelle les outils d'évaluation ont donné satisfaction; les éventuelles limites de la méthodologie; la façon dont on a choisi les personnes à rencontrer en entrevue, ou à qui on a envoyé les questionnaires, etc.;  qui a mené les entrevues, combien de personnes ont été interrogées, quelle est leur situation; par quels moyens les questionnaires ont-ils été distribués et renvoyés.

  • Résultats de l'évaluation (ce que l'on a appris) - On peut organiser cette partie du rapport autour des quatre premières questions d'évaluation :

- Avons-nous accompli ce que nous avions prévu de faire?

Exposer les buts et les objectifs du projet;
Consigner ce qui s'est passé en conséquence du projet - par ex., les
ressources qui ont été élaborées, les séances de formation qui ont été
organisées, etc.;
Décrire les changements qui se sont produits par rapport aux indicateurs
de réussite.
Qu'avons nous appris sur ce qui marche et sur ce qui ne marche pas?
Énoncer les enseignements clés du projet sur les moyens de rendre les
projets fructueux. Exemples : produire des documents et des ressources
efficaces, mettre sur pied des comités consultatifs productifs, effectuer
des évaluations des besoins dans les communautés rurales ou isolées,
inciter les communautés à prendre en main les projets de promotion de la
santé, etc.
Déterminer les leçons apprises au sujet des stratégies qui n'ont pas
marché et pourquoi.

- Avons-nous fait oeuvre utile? (résultats)

Mettre en avant les résultats de l'évaluation qui montrent l'incidence du
projet sur sa clientèle, les groupes qui parrainent les projets et la
communauté dans son ensemble.
Définir les changements - d'attitudes, de connaissances, de compétences
et de comportements - qui se sont produits grâce au travail accompli dans
le cadre du projet, par ex. en quoi les habitudes et les attitudes relatives à
la santé ont changé. Le cas échéant, montrer comment le projet a contribué à accroître la participation du public et à renforcer les groupes communautaires.
Rapporter les propos tenus par les participants au projet et des données
anecdotiques qui illustrent l'impact qu'une activité a eu sur eux. Exemple :
« Une chose que j 'envisage de mettre en pratique tout de suite dans mon
travail, et que j'ai apprise grâce à l'atelier de formation, c'est…»

- Que changerions-nous si c'était à refaire?

Énumérer les leçons tirées des projets concernant les différents modes de mise en oeuvre. Exemples : améliorer le rapport coût/efficacité des projets, adapter le modèle de projet pour qu'il réponde mieux aux besoins des bénévoles, modifier le rôle de l'évaluateur externe pour ce qui a trait aux comptes rendus afin d'accroître l'imputabilité, etc.Réfléchir aux précautions à prendre et aux défis à relever pour accomplir le travail prévu dans le cadre des projets.

      

  • Conclusions et recommandations  (bilan de ce que nous aimerions que les autres sachent) - Conclure en faisant le bilan du travail qui a été effectué et la mesure dans laquelle les buts et les objectifs fixés ont été atteints.  Formuler des recommandations pour les projets à venir.                                   Formuler des recommandations sur la façon de tirer parti des résultats de l'évaluation.

  • Annexes - Ces annexes peuvent être, entre autres, des copies de questionnaires ou de canevas d'entrevues, des données statistiques, des dossiers de programmes ou d'autres documents de référence importants pour l'évaluation, mais pas assez importants pour figurer dans le corps du rapport. Il est utile de joindre une bibliographie - la liste des documents où l'on a puisé pour compiler les résultats des évaluations, d'autres recherches et articles. La liste des personnes qui ont été interrogées ou des organismes avec qui on a communiqué est également utile.

Afin de rendre le rapport plus intéressant et moins froid, il est conseillé d'y inclure des anecdotes personnelles et des propos tenus par les participants au projet. Les responsables de projet peuvent adapter et compléter les lignes directrices suivantes en vue d'élaborer des rapports
d'évaluation qui reflètent la nature spécifique des divers projets.

Pour en savoir plus...

L’évaluation d’un organisme social et communautaire : Guide pour la réalisation d’un bilan annuel
Source : Centre de formation populaire, Montréal Qc

Maintenir le CAP : guide d'évaluation pour les groupes communautaires
Source : Relais-femmes, 1265, rue Berri, #810  Montréal, Québec H2L 4X4

Guide d'évaluation de projet : Une démarche participative de Santé Canada
Source : http://www.hc-sc.gc.ca/hppb/ddsp/guide/présentation.htm

Guide d'évaluation : Illustration de technique visant à améliorer les programmes de traitement de la toxicomanie
Source : Centre de toxicomanie et santé mentale, Service du marketin, 33, rue Russell, Toronto ON.   Tél. : 1-800-661-1111

Connaître ses clients et leurs besoins : Guide pratique d'analyse des besoins
Source : Les Publications du Québec, C.P. 1005, Québec, Qc G1K 7B5, tél. : (418) 643-5150 ou, sans frais, 1-800-463-2100

Guide pratique de planification et d'évaluation
Source : Centre national de documentation sur le SIDA, 1565, avenue Carling, bureau 400, Ottawa ON  K1Z 8R1, tél. : (613) 725-3769, télec. : (613) 725-9826

Évaluation (L') de l'action des organismes dans le cadre du programme d'action communautaire pour les enfants (PACE)
Source : Centre de recherche sur les services communautaires, Université Laval, Faculté des sciences sociales, Bureau 2446, Pavillon Charles-de-Koninck, Québec Qc G1k 7P4, tél.: (418) 656-2674, télec.: (418) 656-7787

Edition: