Suivi des résultats pour la réussite du programme

L'évaluation peut sembler intimidante si vous ne l'avez jamais faite auparavant, mais ce n'est pas une fatalité. Traitée comme une partie courante de la planification de programme, elle vous indique ce qui fonctionne, montre aux bailleurs de fonds l'impact de votre programme et vous aide à en faire plus pour les personnes que vos participants servent. Ce guide présente les étapes de la planification d'une évaluation, un modèle à sept niveaux pour choisir les résultats, les données que nous recommandons à chaque programme ECHO de collecter et les moyens de continuer à apprendre de ce que vous rassemblez.

Pourquoi évaluer ?

Il existe trois grandes raisons d'évaluer votre programme ECHO :

• Amélioration du programme. L'amélioration continue permet de savoir ce qui fonctionne et ce qui nécessite de l'attention. Si vous n'atteignez pas les apprenants que vous vous étiez fixé de recruter, par exemple, vos données peuvent indiquer où pivoter : de nouvelles régions, de nouvelles professions ou de nouveaux canaux de diffusion.
• Résultats et éléments essentiels. Votre programme fait-il évoluer les résultats qui vous importent ? Quelles parties du modèle ECHO produisent de l'impact : les présentations didactiques, les présentations de cas, les discussions entre pairs ? Et qu'apporte ECHO lorsqu'il s'inscrit dans une intervention plus large ?
• Financement et pérennité. L'évaluation est essentielle au financement. Il est presque impossible d'obtenir ou de renouveler un soutien sans preuve de l'efficacité du programme.

L'évaluation est également l'un des 10 services essentiels de santé publique. L'intégrer dès le départ place donc votre programme sur le même pied d'égalité que les systèmes qu'il vise à renforcer.

Suivre un cycle de planification

Nous utilisons le Cadre d'évaluation des programmes en santé publique des CDC. Il existe depuis plus de 20 ans et a été mis à jour en 2024. Il est simple et itératif, et chaque étape compte. La suite de cet article suit ses six étapes.

1. Évaluer le contexte. Comprenez le cadre du programme, déterminez qui y a un intérêt et s'il est prêt à être évalué.
2. Décrire le programme. Exposez ce que vous investissez, ce que vous faites, qui vous atteignez et ce qui doit changer.
3. Cadrer les questions et la conception de l'évaluation. Décidez de ce que vous devez savoir et de la rigueur que doit avoir la conception.
4. Rassemblez des preuves crédibles. Collectez des données avec des méthodes adaptées à vos questions et à vos capacités.
5. Formuler et étayer des conclusions. Analysez et interprétez les résultats par rapport à des normes claires.
6. Agir à partir des résultats. Partagez ce que vous apprenez et utilisez-le pour améliorer le programme.

Au centre du cycle se trouvent des normes que chaque évaluation devrait respecter : pertinence et utilité, rigueur, indépendance et objectivité, transparence et éthique. Autour se trouvent trois pratiques qui traversent chaque étape : s'engager de manière collaborative, faire progresser l'équité, et tirer des enseignements et les utiliser.

Équité et humilité culturelle

L'évaluation n'est pas une activité neutre, en particulier lorsque vous travaillez avec des communautés manquant de ressources ou ayant vécu des traumatismes. Dans les milieux de recherche, nous avons tendance à supposer que nous sommes objectifs, mais l'évaluation et la recherche sont des processus sociaux, soumis aux mêmes biais que n'importe quoi d'autre. Les personnes que vous faites participer, les questions que vous posez, ce que vous mesurez et la manière dont vous communiquez les résultats sont tous des choix, et aucun d'entre eux n'est neutre.

Prenez en compte la culture, la race, l'appartenance ethnique, le pouvoir, les traumatismes et la voix à chaque étape du processus : l'engagement des parties prenantes, la conception du programme, les questions d'évaluation, les mesures, la collecte et l'analyse des données, la communication des résultats et le choix des consultants en évaluation. Ces ressources constituent une bonne base :

• Cadre d'évaluation équitable de l'Equitable Evaluation Initiative
• Questions directrices pour une évaluation culturellement adaptée de MDRC
• Déclaration publique sur la compétence culturelle en évaluation de l'American Evaluation Association

Étape 1 : Évaluer le contexte

L'évaluation du contexte est la première étape du cycle, mais les équipes n'impliquent souvent leurs parties prenantes qu'en dernier. Impliquez-les le plus tôt possible. Même les participants ont des avis utiles sur les résultats qui comptent et ceux qu'il est possible de mesurer, et ils peuvent avoir connaissance de données que vous pourriez utiliser.

Examinez quatre composantes du contexte :

• Préparation à l'évaluation. Une évaluation de l'évaluabilité permet de déterminer si le programme est prêt à être évalué.
• Personnes. Cartographiez les parties prenantes : qui est affecté par le programme, qui l'influence, qui souhaite en connaître les résultats.
• Lieu. Documentez l'environnement et les caractéristiques du programme.
• Capacité d'évaluation. Évaluez la capacité de votre équipe à évaluer et menez une réflexion honnête sur votre propre niveau de préparation en tant qu'évaluateur.

Les parties prenantes d'un programme ECHO comprennent généralement :

• Les bailleurs de fonds
• La direction de votre institution
• Organisations partenaires
• Le personnel du programme
• L'équipe hub et les intervenants
• Les participants ECHO
• Les groupes professionnels
• Les groupes « d'utilisateurs » : les patients, étudiants ou membres de la communauté auprès desquels vos participants interviennent

Étape 2 : Décrire le programme

Soyez clair sur ce que vous faites. Un modèle logique présente la « logique » de votre programme : ce que vous investissez, ce que vous faites, qui vous atteignez et quels changements en résultent. Élaborer un modèle est un excellent moyen d'impliquer les parties prenantes. Même un programme simple apparaît différent selon les perspectives, et faire émerger ces différences tôt est constructif. Revenez au modèle au fil du temps à mesure que le programme se développe.

Le modèle est volontairement général. Adaptez-le à votre programme, en particulier si vous l'utilisez pour communiquer avec des parties prenantes externes. Ses cinq colonnes sont :

• Intrants : ce que vous investissez. Le financement, l'équipe du hub, les participants et les partenaires, ainsi que toutes les meilleures pratiques, directives ou le programme d'enseignement sur lequel repose le programme.
• Activités : ce que vous faites. Le recrutement, des sessions virtuelles gratuites et régulières, de brèves présentations didactiques, des présentations de cas et des recommandations, un apprentissage bidirectionnel animé entre pairs et experts, ainsi que des enregistrements et des ressources à la demande. Si d'autres interventions sont liées à votre ECHO, incluez-les afin que le contexte soit clair.
• Extrants : qui vous atteignez. Les sessions organisées, les participants uniques, leurs caractéristiques, les taux de présence et leur satisfaction.
• Résultats à court terme : apprentissage et action. Augmentation des connaissances, des compétences, de la confiance et de l'auto-efficacité ; utilisation accrue des pratiques fondées sur des données probantes ; diminution de l'isolement professionnel et amélioration de la satisfaction au travail.
• Résultats à long terme : changement. Amélioration des résultats pour les bénéficiaires finaux tels que les patients ou les étudiants, améliorations au sein des organisations et des systèmes soutenant la pratique fondée sur des données probantes, meilleures mesures à l'échelle de la population et meilleure rétention du personnel.

Exemple : ECHO Amélioration de la santé périnatale

Le modèle de ce programme cite les meilleures pratiques qu'il promeut (les ensembles de mesures de sécurité des patients AIM) comme intrant, et il lie un changement de pratique précis et observable — moins de stigmatisation et un langage moins stigmatisant envers les personnes enceintes et en période postpartum consommant des substances — aux résultats visés pour les patients et la communauté. C'est cette spécificité qui rend les résultats mesurables.

Choisir des résultats avec le modèle à sept niveaux de Moore

Déterminer les résultats est souvent la partie la plus difficile. Nous utilisons le cadre élargi des résultats de Moore, développé pour la formation médicale continue, afin d'aller au-delà des simples évaluations à chaud et d'obtenir des résultats plus significatifs. La pyramide se construit de bas en haut : chaque niveau dépend de ceux situés en dessous.

La plupart des programmes ECHO ciblent les niveaux 1 à 4 et s'appuient sur des mesures subjectives, en demandant aux participants d'évaluer leur propre changement de connaissances et de compétences. Le niveau 5, la performance, est le moment où ECHO passe dans le monde réel, et constitue la clé de voûte de l'ensemble du modèle : si les participants ne changent pas leurs pratiques, il n'y a aucun moyen d'obtenir des résultats pour les bénéficiaires finaux ou les populations.

• Si votre programme est bien établi, essayez de mesurer le changement de pratique. Les méthodes de l'étape 4 vous y aideront.
• Si votre programme est nouveau, réfléchissez dès maintenant à la manière dont votre programme d'enseignement influencera les changements de pratique que vous souhaitez observer, et reliez les sessions à ces changements.

Étape 3 : Cadrer le plan d'évaluation

Une fois les parties prenantes mobilisées et le modèle logique en main, décidez du niveau de rigueur que doit avoir le plan d'évaluation. Les plans d'évaluation deviennent généralement plus élaborés à mesure qu'un programme mûrit, ou plus tôt si vous disposez déjà d'une expérience en évaluation ou d'un évaluateur dédié au sein de l'équipe.

Étape 4 : Recueillir des preuves crédibles

Une fois la conception établie, collectez les données. Il s'agit des méthodes standardisées développées par l'ECHO Institute. Utilisez les modèles associés tels quels ou adaptez-les à votre programme.

Quelques remarques sur les méthodes moins familières :

• Auto-réflexion de l'équipe du Hub demande si votre équipe suit les meilleures pratiques ECHO. Prévoyez du temps pour examiner les données dont vous disposez déjà au lieu d'attendre un rapport. De nombreuses équipes se réunissent régulièrement pour analyser ensemble leurs tableaux de bord.
• L'enquête de suivi de présentation de cas est envoyée au présentateur un mois ou deux après son cas, afin de savoir si les recommandations ont été utiles et ce qui a changé pour le patient, l'étudiant ou le système.
• Les mini-groupes de discussion mettent en évidence les avantages, les obstacles et les changements dans les pratiques et les systèmes qu'une enquête peut manquer.

Données recommandées

Au minimum, nous recommandons que chaque programme mesure la satisfaction, les connaissances et la pertinence après chaque session. Les questions ci-dessous proviennent des modèles d'enquêtes de satisfaction intégrés à iECHO (voir Réaliser une enquête de satisfaction de session) et sont également disponibles dans PERL.

Mesurer le changement de pratique

Start with one question: what do you want participants to do differently because of ECHO? Answer it broadly first, then break the answer into specific pieces. “Manage opioid use disorder in primary care” is a goal; “prescribe buprenorphine” and “screen every new patient with a validated tool” are practices you can measure.

If it feels too early to answer, that is fine. Programs are at different stages, and defining the practice change you want is part of program planning. Doing it well is progress toward evaluation. Ways to collect practice-change data include:

• Surveys, and focus groups or interviews
• Electronic health records
• Quality improvement metrics

Step 5: Generate and support conclusions

Analysis, qualitative or quantitative, is driven by the question at hand and the data you have. Interpret the results against standards you set in advance:

• Outcomes. Did you meet the bar you set for yourself, such as a significant increase in knowledge from before to after the program?
• Values. State them clearly. Which findings count as positive or negative given your program’s goals?
• Stakeholders. Do the findings mirror their experience and expectations? If not, why not?

Recommendations should be consistent with your conclusions and appropriate given the limits of your findings. Would your program have the same effect in a different context? Say what will matter for success, or failure, going forward.

Step 6: Use data for learning

It is easy to report only to funders. Getting data to your program team more often makes it far more useful. For each audience, decide on the content, format and frequency:

• Audience. Funders, leadership, the hub team, participants, partner organizations, the community.
• Content. What each audience needs to know to make a decision or feel the program’s value.
• Format. Dashboards, written reports, a slide at a team meeting, a note in a session.
• Frequency. Quarterly for a team review, annually for a funder, whatever keeps the data in use.

Close the loop by sharing what you learn with participants, their organizations and the communities you serve. They gave you the data; show them what it changed.

Dashboards in iECHO

Le Centre d'analyse iECHO offre à l'équipe de votre hub des vues prêtes à l'emploi à examiner ensemble : participation, aperçus des participants et retours sur les sessions. Commencez par le tableau de bord Vue d'ensemble, puis explorez les tableaux de bord Participants et Formulaires. Mettre l'un d'entre eux à l'ordre du jour d'une réunion d'équipe régulière est le moyen le plus simple de prendre l'habitude de tirer des enseignements de vos données.

S'appuyer sur l'évaluation : la recherche ECHO

Il n'y a pas de frontière nette entre l'évaluation et la recherche. Elles utilisent les mêmes outils et posent souvent les mêmes questions ; la recherche présente généralement davantage de complexité et de rigueur. Plus de 900 publications révisées par des pairs sur ECHO sont répertoriées sur le tableau de bord des publications ECHO, et leur répartition selon les niveaux de Moore reflète ce que mesurent la plupart des programmes.

Résultats pour les patients dans la littérature

La recherche s'oriente vers des mesures objectives : données de remboursement, dossiers médicaux électroniques, revue de dossiers, enquêtes auprès des patients et autres ensembles de données programmatiques ou administratives. La plupart des études sur les résultats pour les patients menées jusqu'à présent portent sur l'hépatite C, le diabète, le VIH et la prise en charge de la douleur. Les mesures de résultats utilisées peuvent suggérer ce que votre propre programme pourrait suivre.

Opportunités de recherche

Si vous souhaitez passer de l'évaluation à la recherche, voici quelques éléments utiles :

• Appuyez-vous sur les bases de votre évaluation. Les études rigoureuses reposent sur des structures qui recueillent déjà des données de manière fiable.
• Établissez des partenariats. La plupart des recherches ECHO impliquent plusieurs parties : des hubs qui travaillent ensemble, ou un hub associé à un chercheur possédant une expertise thématique. Les collaboratifs ECHO sont un bon endroit pour trouver des programmes travaillant sur des questions similaires. Vous n'avez pas à trouver la solution seul.
• Recherchez des financements pour la recherche. Les conceptions rigoureuses nécessitent généralement un soutien allant au-delà du budget du programme.
• Accordez la priorité aux lacunes dans les données probantes. Même avec des centaines d'études, il existe peu de données sur les résultats pour les bénéficiaires finaux, les essais contrôlés randomisés, les programmes ECHO d'éducation, les programmes dans les pays à revenu faible et intermédiaire et les éléments essentiels du modèle ECHO. Combler une lacune augmente vos chances d'obtenir des financements et d'être publié.

Références et ressources

• Centers for Disease Control and Prevention. (2024). Cadre d'évaluation des programmes en santé publique. MMWR Recommendations and Reports, 73(RR-6), 1–37.
• Moore, D. E., Green, J. S., & Gallis, H. A. (2009). Obtenir les résultats souhaités et améliorer les acquis : intégrer la planification et l'évaluation tout au long des activités d'apprentissage. Journal of Continuing Education in the Health Professions, 29(1), 1–15.
• New York Academy of Medicine. (2017). Project ECHO Evaluation 101 : un guide pratique pour évaluer votre programme.
• PERL : la bibliothèque de modèles d'évaluation de l'ECHO Institute, y compris le modèle logique et les instruments d'enquête mentionnés ci-dessus.
• Tableau de bord des publications ECHO : recherches évaluées par des pairs sur ECHO, consultables par sujet et par niveau de résultat.

Des questions sur l'évaluation de votre programme ? Contactez l'équipe de recherche et d'évaluation de l'ECHO Institute à jljones8@salud.unm.edu.