Back to top

L’ÉVALUATION EST-ELLE INCONTOURNABLE?

Section: 

Par : Mario Corbeil
Consultant bilingue en promotion de la santé - Centre de ressources Meilleur départ

« Évaluation » : le mot fait parfois peur. L’évaluation est encore perçue comme l’apanage des chercheurs, des scientifiques. En même temps, chacune de nos demandes de financement nous appelle à s’y pencher. Mais pourquoi? Et surtout, par où commencer quand on parle d’évaluation?

Le présent texte propose une réflexion sur la question de l’évaluation. Nous verrons en quoi l’évaluation est utile et à quels domaines de nos activités nous pouvons l’appliquer. Sans être un survol systématique de tous les aspects de l’évaluation, nous en présenterons quelques grandes lignes directrices qui nous permettront de distinguer les différents types d’évaluation. De plus, nous en dégagerons les champs d’applicabilité, surtout dans le contexte du développement communautaire.

Concepts de base
Expliquée simplement, l’évaluation est de première importance pour comprendre ce qui marche, ou pas, dans une intervention, une activité ou encore un programme. Elle devrait nous permettre de comprendre les raisons d’un succès ou d’un échec relatif à ces programmes ou activités. Il importe de souligner que l’évaluation est généralement accessible à tous, en autant qu’on respecte certains concepts et façons de faire.

La plupart des auteurs traitant de ce sujet s’entendent pour dire que l’évaluation fait référence au jugement que l’on porte, soit sur une situation, une action ou encore sur le résultat engendré par une action.

En fait, l’évaluation peut être définie de la manière suivante : « Évaluer, c’est poser un jugement à l’aide de certains critères » (Tard et coll., 1997 a, p.12).

En effet, l’évaluation est un jugement sur une action quelconque et elle est réalisée à l’aide de critères qu’on aura déterminés à l’avance. Ainsi, « l’évaluation ne porte pas uniquement sur l’efficacité de l’action, mais elle permet également de préparer l’action, de l’encadrer et de faire le point sur les activités » (Tard et coll., 1997 a, p.11).

Par contre, on ne peut passer sous silence que l’évaluation peut être parfois perçue comme une méthode de contrôle. Cette perception n’est pas complètement fausse. En théorie, elle est une partie intégrante de l’action, étant intrinsèquement liée au processus décisionnel. Cependant, dans certains cas, elle peut devenir une méthode de discrimination déterminant à quels projets l’on doit, ou ne doit pas, accorder la priorité dans un contexte où les ressources financières sont limitées.

Applicabilité de l’évaluation
Il va de soi que l’évaluation est un domaine vaste et qu’il serait très réductionniste de vouloir la résumer à la seule question de la mesure des résultats. Mais à quoi d’autre peut-elle servir?  En fait, elle permet de répondre à une multitude de questions, tantôt aidant à préparer l’action à mettre en place, tantôt encadrant l’action en cours de réalisation, tantôt aidant à faire le point sur les activités réalisées.

A. Pour aider à préparer l’action

  •  Quelle est la nature du problème sur lequel on songe intervenir?
  •  Y a-t-il réellement un besoin pour le programme ou service qu’on veut mettre sur pied?
  •  Quels objectifs souhaite-on atteindre?
  •  Quelles sont les caractéristiques des personnes ciblées par le programme ou service envisagé?
  •  Quels pourraient être les objectifs perçus par des utilisateurs potentiels de notre projet ou programme?
  •  Ces objectifs correspondent-ils à ceux que nous croyons promouvoir?

B. Pour encadrer l’action

  •  Quelles sont les caractéristiques des participants au programme ou service? Ces caractéristiques correspondent-elles à ce que nous attendions? Sinon, en quoi y a-t-il divergence et pourquoi?
  •  Quelles activités sont réalisées dans le programme?
  •  Quel est le niveau de satisfaction?
  •  Combien de personnes sont rejointes?
  •  Comment expliquer le niveau de participation ou les abandons?

C. Pour faire le point sur les activités

  •  Jusqu’à quel point notre programme/service a-t-il rejoint le public-cible?
  •  Est-ce que ce programme a réellement influencé les participants?
  •  Quelles sont les composantes (physique, sociale, émotive, éducative, etc.) de la vie des participants qui ont été touchées?
  •  Quelles sont les conséquences du programme ou service sur le milieu?

En fait, l’évaluation peut contribuer à mieux comprendre les actions que l’on met « en branle ». Elle nous permet entre autres :

  •  D’identifier et clarifier les étapes de l’action;
  •  d’organiser l’information disponible sur l’action, sa planification et son déroulement;
  •  de définir des critères qui nous permettront ultérieurement de définir le succès (ou l’insuccès) de notre action.

Les grands types d’évaluation
Il existe plusieurs types d’évaluation.  Nous vous proposons la classification suivante pour mieux comprendre ces types d’évaluation et leurs utilités selon différentes situations.

  •  Évaluation de besoins : Il s’agit d’évaluer la nécessité d’agir face à une problématique particulière. À ce stade, on tente de cerner l’intensité, la fréquence et l’étendue d’un problème et d’identifier les besoins des clients concernés afin de faire face à ce problème.
  •  Évaluation de faisabilité :
  •  L’évaluation de faisabilité « classique » consiste à déterminer si on a les ressources nécessaires (humaines, financières, etc.) pour mener à bien une ou des actions concernant la problématique visée et à envisager l’ampleur du programme ou projet concerné.
  •  L’évaluation de faisabilité de type « politique » consiste quant à elle à déterminer dans quelle mesure une action ou un programme possède une réelle chance de bien fonctionner et de s’implanter, et ce en fonction des intérêts des acteurs concernés (organismes, individus, clientèles, ressources en compétition, etc.). En effet, on a parfois tendance à oublier qu’une action ou intervention ne fonctionne pas à cause d’individus ou d’organismes qui ont des intérêts divergents. Ce type d’évaluation est extrêmement important mais malheureusement souvent négligé. À notre connaissance, l’auteur ayant le mieux décrit ce type d’évaluation est O’Neill et collaborateurs (1997). Il s’agit d’un modèle un peu lourd mais très riche en informations tactiques et politiques.
  •  Évaluation formative ou évaluation de processus : Il s’agit d’évaluer l’implantation et le déroulement d’une intervention ou d’un programme, ce qui permet d’ajuster les actions en fonction des objectifs visés. Cette méthode est un outil très puissant en matière d’éducation et de formation des participants (à l’évaluation), qu’il s’agit des intervenants impliqués ou de la clientèle-cible.
  •  Évaluation sommative ou évaluation des résultats de l’action : Il s’agit de faire un bilan de l’intervention ou encore de faire une comparaison de la situation avant et après intervention. Ce type d’évaluation nous informe sur la performance de l’intervention, autant en terme d’efficacité (atteinte des objectifs) que d’efficience (rapport « qualité/prix », en quelque sorte...)
  •  Évaluation de l’efficacité : Ce type d’évaluation nous renseigne sur l’utilité des méthodes utilisées dans une intervention ou un programme pour atteindre les objectifs visés. Ainsi, on fait le lien entre les résultats obtenus et les objectifs fixés. Dit autrement, on vérifie l’adéquation entre le besoin identifié et l’action mise en branle.
  •  Évaluation de l’efficience : Cette expression désigne la mise en parallèle des résultats de l’action / l’intervention ou le programme avec ses coûts, autant les coûts en ressources humaines, en ressources matérielles, qu’en ressources financières.
  •  Évaluation de l’impact : Elle vise à permettre de poser un regard sur les effets globaux d’un programme, c’est-à-dire les impacts d’un programme sur les participants et sur la communauté ainsi que les effets attendus et ceux inattendus.

Les approches méthodologiques
Maintenant que nous avons vu à quoi peut servir l’évaluation, regardons plus en détails les approches méthodologiques propres à l’évaluation, c’est à dire de quelle façon on peut faire de l’évaluation.

 Évaluation quantitative (formelle) :
Il s’agit de la méthodologie qui implique de recueillir une quantité de données objectives, c’est à dire des données mesurables. Ces données sont ainsi traitées pour en faire des statistiques, auxquelles on peut appliquer divers tests de validité et de précision. On associe à ces données un modèle établi au préalable qui permet de mettre ces informations dans un contexte.

L’évaluation quantitative est associée à la démarche expérimentale (par exemple, la comparaison d’un groupe témoin et d’un groupe test) et il s’agit de la méthodologie traditionnelle en recherche. Cette méthodologie exige des connaissances techniques très avancées et fait souvent appel à des experts/universitaires.

 Évaluation qualitative :
L’évaluation qualitative est plus difficile à cerner. On peut cependant dire qu’il s’agit d’un ensemble d’approches (étude de cas, observation participante, analyse de processus interne) et de techniques (entrevue, forum communautaire, etc.) qui cherchent à interpréter l’action du point de vue des acteurs impliqués. Ce type de méthodologie fait appel aux jugements et différentes opinions des acteurs. Ici aussi, un cadre de référence est développé dans le but d’interpréter les informations de manière cohérente et significative. On ne peut passer sous silence qu’on l’associe de plus en plus au terme « d’évaluation de 4e génération » (Fourth generation evaluation).

L’évaluation qualitative est souvent (mais pas nécessairement) associée à l’évaluation participative (appelée aussi recherche-action). L’évaluation participative ou recherche-action implique que tous les acteurs, c’est-à-dire la ou les personne(s) ayant le mandat de faire l’évaluation, les intervenants impliqués, la « clientèle » impliquée, etc. soient partie prenante de l’ensemble de la démarche évaluative. Tous les acteurs définissent ce qui doit être évalué, comment on fera l’évaluation, quel cadre de référence sera utilisé, etc. En somme, ce type d’évaluation peut être réalisé par tout un chacun mais idéalement avec l’accompagnement d’une personne-ressource ayant une expertise en évaluation.

Quelques outils de cueillette de données
Nous vous présentons ici une liste de quelques outils de cueillette de données qui sont traditionnellement associés à l’évaluation. Cette liste n’a pas la prétention d’être exhaustive, loin de là, mais elle en mesure de vous donner un aperçu du type d’outils habituellement rencontrés.

  •  Le questionnaire : L’outil le plus communément rencontré en évaluation!  Tard et coll., (1997 a et b) donnent de bons trucs sur la formulation d’un questionnaire.
  •  L’entrevue : Un autre outil très rencontré mais qui doit être utilisé à bon escient. En effet, l’entrevue nous permet d’aller dans le détail avec un nombre limité d’individus mais sans développer une perspective plus collective d’un sujet. Voir encore Tard et coll., (1997 a et b).
  •  Le Focus Group ou groupe de discussion : Bien à la mode !!! Il faut par contre être bien conscient des limites de l’outil (représentativité, dynamique de groupe, etc.)
  •  Le groupe nominal : il s’agit d’une technique utilisée presque seulement par des spécialistes en cueillette de données. Dans un groupe d’individus, chaque personne répond par écrit aux informations qu’on veut recueillir mais avec un processus un peu complexe. Intéressant de savoir que cela existe.
  •  L’informateur-clef : Une personne possédant des connaissances spécialisées sur le sujet qui nous intéresse est interviewé. Habituellement, plusieurs informateurs-clef sont identifiés et par la suite, on procède par « effet boule de neige » , c’est-à-dire que ces informateurs-clef identifient d’autres informateurs-clefs et ainsi de suite.
  •  Le forum communautaire : un groupe de citoyens est convoqué, après un processus de mobilisation, à un événement où on discute de l’évaluation qu’on fait de telle ou telle action, intervention, programme, problématique, etc.

Quelques questions à se poser avant de se lancer dans l’évaluation
Évidemment, l’évaluation est une démarche qu’on doit faire avec minutie et attention. Certains concepts associés à l’évaluation sont complexes et les pièges dans la réalisation même de l’évaluation sont nombreux et peuvent nous entraîner sur de fausses conclusions. Nous souhaitons simplement souligner ici quelques pièges qui sont tellement évidents, que l’on a tendance à les oublier.

  « Qui demande l’évaluation? »
C’est la première question à se poser lorsqu’on amorce un processus d’évaluation. Répondre à cette question peut nous éviter bien des problèmes de compréhension et expliquer les résistances qu’on rencontre.

  « Qu’est-ce qu’on cherche? »
Il faut avoir une bonne idée de notre objet d’évaluation pour assurer une bonne direction de l’évaluation.

  « Comment répondre le mieux possible aux besoins des gens qui demandent l’évaluation?»
L’évaluation ne doit pas être une fin en soi ! Elle se doit d’être au service des gens qui l’utilisent.

  Chercher uniquement  le problème
On a souvent tendance à voir que ce qui ne marche pas. L’évaluation ne fait pas exception à la règle. Il est tout aussi important de comprendre pourquoi tel programme donne d’excellents résultats alors que tel autre ne fonctionne pas bien. Les succès, comme les échecs, sont souvent riches en enseignement. Ce type d’approche basée sur ce qui fonctionne bien est d’ailleurs à la base d’une récente tendance en évaluation appelée « Appreciative inquiry » (voir Hammond, 1998)

Conclusion
L’évaluation doit être conçue et comprise comme un outil à notre service. Il est possible de l’adapter à nos besoins et de faire en sorte qu’elle soutienne nos actions et nous aide à trouver des solutions ou encore à répéter des approches gagnantes. En fait, l’évaluation est un élément de plus dans le coffre à outils de l’intervenant soucieux de faire mieux et d’atteindre ses objectifs.

Références
Hammond, S. A. (1998). « The thin book of appreciative inquiry ». Thin Book Publishing co. Texas. 63 pages.

O’Neill, M. et collaborateurs (1997). « La santé politique : Petit manuel d’analyse et d’intervention politique dans le domaine de la santé ». Beauport (Québec) : #3 de la série des monographies du Centre québécois collaborateurs de l’Organisation mondiale de la santé pour le développement des Villes et Villages en santé. 263 pages.

Renaud, L. et Gomez Zamudio, M. (1998). « Planifier pour mieux agir ». RÉFIPS, Québec. 164 pages.

Stecher, B.M. et Davis, W.A. (1987). « How to focus an evaluation ». Sage Publication. California. 93 pages.

Tard, C., Ouellet, H. et Beaudoin, A. (1997 a). « L’évaluation de l’action des organismes dans le cadre du programme d’action communautaire pour les enfants (PACE) : 1. Manuel d’introduction » Centre de recherche sur les services communautaires, Faculté des sciences sociales de l’Université Laval et Association des centres jeunesse du Québec. Québec. 93 pages.

Tard, C., Ouellet, H. et Beaudoin, A. (1997 b). « L’évaluation de l’action des organismes dans le cadre du programme d’action communautaire pour les enfants (PACE) : 2. Outils d’évaluation pour l’amélioration de la qualité des programmes » Centre de recherche sur les services communautaires, Faculté des sciences sociales de l’Université Laval et Association des centres jeunesse du Québec. Québec. 225 pages.

Tard, C., Ouellet, H. et Beaudoin, A. (1997 c). « L’évaluation de l’action des organismes dans le cadre du programme d’action communautaire pour les enfants (PACE) : 3. Présentation de guides d’évaluation » Centre de recherche sur les services communautaires, Faculté des sciences sociales de l’Université Laval et Association des centres jeunesse du Québec. Québec. 66 pages.
Ce texte a été rédigé pour la Fondation Berthiaume-Du-Tremblay

Edition: