Monitorizarea rezultatelor pentru succesul programului

Evaluarea poate părea intimidantă dacă nu ați mai făcut-o înainte, dar nu trebuie să fie așa. Tratată ca o parte obișnuită a planificării programului, vă spune ce funcționează, le arată finanțatorilor diferența pe care o face programul dumneavoastră și vă ajută să faceți mai mult pentru persoanele pe care le deservesc participanții dumneavoastră. Acest ghid parcurge pașii de planificare a unei evaluări, un model pe șapte niveluri pentru alegerea rezultatelor, datele pe care le recomandăm să le colecteze fiecare program ECHO și modalități de a continua să învățați din ceea ce adunați.

De ce să evaluăm?

Există trei motive principale pentru a vă evalua programul ECHO:

• Îmbunătățirea programului. Îmbunătățirea continuă întreabă ce funcționează și ce necesită atenție. Dacă nu ajungeți la cursanții pe care v-ați propus să îi recrutați, de exemplu, datele dumneavoastră vă pot arăta unde să vă reorientați: regiuni noi, profesii noi sau noi canale de promovare.
• Rezultate și elemente esențiale. Programul dumneavoastră îmbunătățește rezultatele care vă interesează? Care părți ale Modelului ECHO produc impactul: prezentările didactice, prezentările de caz, discuțiile de la egal la egal? Și cu ce contribuie ECHO atunci când este o parte dintr-o intervenție mai amplă?
• Finanțare și sustenabilitate. Evaluarea este esențială pentru finanțare. Este aproape imposibil să obțineți sau să reînnoiți sprijinul fără dovezi că programul funcționează.

Evaluarea este, de asemenea, unul dintre cele 10 servicii esențiale de sănătate publică, așa că integrarea ei de la bun început pune programul dumneavoastră pe picior de egalitate cu sistemele pe care își propune să le consolideze.

Urmați un ciclu de planificare

Utilizăm Cadrul pentru evaluarea programelor în sănătatea publică al CDC. Există de peste 20 de ani și a fost actualizat în 2024. Este simplu și iterativ, iar fiecare pas contează. Restul acestui articol urmărește cei șase pași ai săi.

1. Evaluați contextul. Înțelegeți cadrul programului, cine sunt părțile interesate și dacă acesta este pregătit pentru a fi evaluat.
2. Descrieți programul. Stabiliți clar ce investiți, ce faceți, la cine ajungeți și ce ar trebui să se schimbe.
3. Focalizați întrebările și structura evaluării. Decideți ce trebuie să știți și cât de riguroasă ar trebui să fie structura.
4. Colectați dovezi credibile. Colectați date prin metode care se potrivesc întrebărilor și capacității dumneavoastră.
5. Formulați și susțineți concluziile. Analizați și interpretați rezultatele raportat la standarde clare.
6. Acționați pe baza constatărilor. Împărtășiți ceea ce aflați și folosiți aceste informații pentru a îmbunătăți programul.

În centrul ciclului se află standardele pe care ar trebui să le îndeplinească orice evaluare: relevanța și utilitatea, rigoarea, independența și obiectivitatea, transparența și etica. În exterior se află trei practici care străbat fiecare pas: implicarea colaborativă, promovarea echității și învățarea și aplicarea concluziilor trase.

Echitate și umilință culturală

Evaluarea nu este o activitate neutră, în special atunci când lucrați cu comunități care au fost sub-resursate sau care au suferit traume. În mediile de cercetare tindem să presupunem că suntem obiectivi, dar evaluarea și cercetarea sunt procese sociale, supuse acelorași părtiniri ca orice altceva. Persoanele pe care le implicați, întrebările pe care le adresați, ceea ce măsurați și modul în care raportați rezultatele sunt toate alegeri și niciuna dintre ele nu este neutră.

Luați în considerare cultura, rasa, etnia, puterea, trauma și opinia în fiecare etapă a procesului: implicarea părților interesate, conceperea programului, întrebările de evaluare, măsurătorile, colectarea și analiza datelor, raportarea și alegerea consultanților de evaluare. Aceste resurse reprezintă o bază bună:

• Cadrul de evaluare echitabilă de la Equitable Evaluation Initiative
• Întrebări ghid pentru o evaluare adaptată cultural de la MDRC
• Declarație publică privind competența culturală în evaluare de la American Evaluation Association

Pasul 1: Evaluați contextul

Evaluarea contextului este primul pas din ciclu, însă echipele își implică adesea părțile interesate abia la sfârșit. Implicați-le de la început. Chiar și participanții au opinii utile despre ce rezultate contează și ce este fezabil de măsurat și s-ar putea să aibă cunoștință despre date pe care le-ați putea utiliza.

Analizați patru componente ale contextului:

• Pregătirea pentru evaluare. O evaluare a evaluabilității analizează dacă programul este pregătit să fie evaluat.
• Persoanele. Identificați părțile interesate: cine este afectat de program, cine îl influențează, cine dorește să afle rezultatele.
• Locul. Documentați mediul și caracteristicile programului.
• Capacitatea de evaluare. Evaluați capacitatea echipei dumneavoastră de a efectua evaluarea și reflectați cu sinceritate asupra propriului grad de pregătire ca evaluator.

Părțile interesate într-un program ECHO includ de obicei:

• Finanțatorii
• Conducerea instituției dumneavoastră
• Organizațiile partenere
• Personalul programului
• Echipa hub-ului și prezentatorii
• Participanții ECHO
• Grupuri profesionale
• Grupuri de „beneficiari”: pacienții, studenții sau membrii comunității pe care îi deservesc participanții dumneavoastră

Pasul 2: Descrieți programul

Fiți clar cu privire la ceea ce faceți. Un model logic prezintă „logica” programului dumneavoastră: ce investiți, ce faceți, la cine ajungeți și ce se schimbă ca rezultat. Parcurgerea unui astfel de model este o modalitate excelentă de a atrage părțile interesate. Chiar și un program simplu arată diferit din perspective diferite, iar aducerea la suprafață a acestor diferențe din timp este productivă. Reveniți la model pe măsură ce programul crește.

Acest șablon este în mod intenționat general. Adaptați-l la specificul programului dumneavoastră, mai ales dacă îl veți folosi pentru a comunica cu părțile interesate externe. Cele cinci coloane ale sale sunt:

• Resurse (Inputs): ce investiți. Finanțarea, echipa hub-ului, participanții și partenerii, plus orice bune practici, ghiduri sau curriculum pe care este construit programul.
• Activități: ce faceți. Recrutarea, sesiuni virtuale gratuite regulate, scurte prezentări didactice, prezentări de cazuri și recomandări, învățare bidirecțională facilitată între colegi și experți, precum și înregistrări și resurse la cerere. Dacă alte intervenții sunt conectate la programul dumneavoastră ECHO, includeți-le astfel încât contextul să fie clar.
• Rezultate directe (Outputs): la cine ajungeți. Sesiunile desfășurate, participanții unici, caracteristicile participanților, ratele de prezență și satisfacția.
• Rezultate pe termen scurt: învățare și acțiune. Nivel crescut de cunoștințe, abilități, încredere și autoeficacitate; utilizarea îmbunătățită a practicilor bazate pe dovezi; reducerea izolării profesionale și creșterea satisfacției la locul de muncă.
• Rezultate pe termen lung: schimbare. Rezultate îmbunătățite pentru beneficiarii finali, cum ar fi pacienții sau studenții, îmbunătățiri în organizațiile și sistemele care sprijină practica bazată pe dovezi, indicatori populaționali mai buni și o mai bună reținere a forței de muncă.

Exemplu: ECHO Îmbunătățirea Sănătății Perinatale

Modelul acestui program numește bunele practici pe care le promovează (pachetele AIM pentru siguranța pacienților) drept o resursă atrasă și leagă o schimbare specifică și observabilă a practicii – mai puțină stigmatizare și un limbaj mai puțin stigmatizant față de persoanele însărcinate și lăuze care consumă substanțe – de rezultatele la nivel de pacient și comunitate pe care speră să le obțină. Această specificitate este cea care face rezultatele măsurabile.

Alegeți rezultatele utilizând modelul pe șapte niveluri al lui Moore

Stabilirea rezultatelor este adesea cea mai grea parte. Folosim cadrul extins al rezultatelor al lui Moore, dezvoltat pentru educație medicală continuă, pentru a trece de la evaluările superficiale de tip „formular de satisfacție” la rezultate mai relevante. Piramida se construiește de jos în sus: fiecare nivel depinde de cele de sub el.

Majoritatea programelor ECHO vizează Nivelurile de la 1 la 4 și se bazează pe măsuri subiective, cerând participanților să își evalueze propria schimbare în cunoștințe și competență. Nivelul 5, performanța, este locul în care ECHO trece în lumea reală și este pilonul de bază al întregului model: dacă participanții nu își schimbă modul de acțiune, nu există nicio cale către rezultatele pentru beneficiarii finali sau la nivel de populație.

• Dacă programul dumneavoastră este consacrat, încercați să măsurați schimbarea de practică. Metodele de la Pasul 4 vă vor ajuta.
• Dacă programul dumneavoastră este nou, gândiți-vă de pe acum la modul în care programa dumneavoastră va influența schimbările de practică pe care doriți să le vedeți și conectați sesiunile la acele schimbări.

Pasul 3: Concentrați structura evaluării

Cu părțile interesate implicate și un model logic la îndemână, decideți cât de riguroasă ar trebui să fie structura evaluării. Structurile devin de obicei mai sofisticate pe măsură ce un program se maturizează, sau mai devreme dacă aveți deja experiență în evaluare sau un evaluator dedicat în echipă.

Pasul 4: Colectarea de dovezi credibile

Odată ce designul este stabilit, colectați datele. Acestea sunt metodele standardizate pe care le-a dezvoltat Institutul ECHO. Utilizați șabloanele din linkuri așa cum sunt sau adaptați-le la programul dumneavoastră.

Câteva observații privind metodele mai puțin cunoscute:

• Autoreflecția echipei din hub evaluează dacă echipa dumneavoastră respectă cele mai bune practici ECHO. Alocați timp pentru a analiza datele pe care le aveți deja în loc să așteptați un raport. Multe echipe se întâlnesc regulat pentru a parcurge împreună tablourile lor de bord.
• Chestionarul de urmărire a prezentării de caz este trimis prezentatorului la o lună sau două după prezentarea cazului, pentru a afla dacă recomandările au fost utile și ce s-a schimbat pentru pacient, elev sau sistem.
• Mini-focus-grupurile scot la iveală beneficii, bariere și schimbări în practică și sisteme pe care un chestionar le poate omite.

Date recomandate

Cel puțin, recomandăm ca fiecare program să măsoare satisfacția, cunoștințele și relevanța după fiecare ședință. Întrebările de mai jos provin din șabloanele de chestionare de feedback, care sunt integrate în iECHO (consultați Efectuarea unui chestionar de feedback pentru ședință) și sunt, de asemenea, disponibile în PERL.

Măsurarea schimbărilor în practică

Începeți cu o întrebare: ce doriți să facă participanții diferit datorită ECHO? Răspundeți mai întâi la modul general, apoi împărțiți răspunsul în părți specifice. „Gestionarea tulburării de consum de opioide în asistența medicală primară” este un obiectiv; „prescrierea de buprenorfină” și „evaluarea fiecărui pacient nou cu un instrument validat” sunt practici pe care le puteți măsura.

Dacă vi se pare prea devreme pentru a răspunde, este în regulă. Programele se află în etape diferite, iar definirea schimbării de practică pe care o doriți face parte din planificarea programului. Realizarea sa cu succes reprezintă un progres către evaluare. Modalitățile de colectare a datelor privind schimbarea practicii includ:

• Sondaje și focus grupuri sau interviuri
• Dosare medicale electronice
• Indicatori de îmbunătățire a calității

Pasul 5: Formulați și susțineți concluzii

Analiza, calitativă sau cantitativă, este ghidată de întrebarea adresată și de datele de care dispuneți. Interpretați rezultatele în raport cu standardele stabilite în prealabil:

• Rezultate. Ați atins pragul pe care vi l-ați propus, cum ar fi o creștere semnificativă a cunoștințelor de dinainte și de după program?
• Valori. Enunțați-le clar. Care constatări sunt considerate pozitive sau negative, având în vedere obiectivele programului dumneavoastră?
• Părțile interesate. Reflectă constatările experiența și așteptările acestora? Dacă nu, de ce?

Recomandările ar trebui să fie în concordanță cu concluziile dumneavoastră și adecvate având în vedere limitele constatărilor. Ar avea programul dumneavoastră același efect într-un context diferit? Menționați ce va conta pentru succes sau eșec pe viitor.

Pasul 6: Utilizați datele pentru învățare

Este ușor să raportați doar finanțatorilor. Transmiterea datelor către echipa programului mai des le face mult mai utile. Pentru fiecare public, decideți conținutul, formatul și frecvența:

• Public. Finanțatori, conducere, echipa hub-ului, participanți, organizații partenere, comunitate.
• Conținut. Ce trebuie să știe fiecare public pentru a lua o decizie sau pentru a simți valoarea programului.
• Format. Tablouri de bord, rapoarte scrise, un diapozitiv la o ședință de echipă, o notă într-o sesiune.
• Frecvență. Trimestrial pentru o analiză a echipei, anual pentru un finanțator, orice menține datele în uz.

Închideți bucla împărtășind ceea ce aflați cu participanții, organizațiile acestora și comunitățile pe care le deserviți. Ei v-au oferit datele; arătați-le ce s-a schimbat.

Tablouri de bord în iECHO

iECHO Analytics Center oferă echipei hub-ului dumneavoastră vizualizări gata pregătite pentru a fi analizate împreună: prezența, informațiile despre participanți și feedbackul privind sesiunile. Începeți cu tabloul de bord Prezentare generală, apoi explorați tablourile de bord Participanți și Formulare. Includerea unuia dintre acestea pe agenda unei ședințe obișnuite de echipă este cea mai simplă modalitate de a vă crea obiceiul de a învăța din datele dumneavoastră.

De la evaluare la cercetare: cercetarea ECHO

Nu există o graniță strictă între evaluare și cercetare. Acestea folosesc aceleași instrumente și pun adesea aceleași întrebări; cercetarea presupune de obicei mai multă complexitate și rigoare. Peste 900 de publicații peer-reviewed despre ECHO sunt catalogate pe tabloul de bord al publicațiilor ECHO, iar distribuția acestora pe nivelurile Moore reflectă ceea ce măsoară majoritatea programelor.

Rezultatele pacienților în literatura de specialitate

Cercetările tind spre măsuri obiective: date din cererile de decontare, dosare electronice de sănătate, analiza fișelor medicale, sondaje în rândul pacienților și alte seturi de date programatice sau administrative. Majoritatea studiilor de până acum privind rezultatele pacienților provin din domeniul hepatitei C, diabetului, HIV și al managementului durerii. Măsurile de rezultat utilizate de acestea pot sugera ce ar putea monitoriza propriul dumneavoastră program.

Oportunități de cercetare

Dacă doriți să treceți de la evaluare la cercetare, vă pot fi de ajutor câteva lucruri:

• Construiți pe fundația evaluării dumneavoastră. Studiile riguroase depind de structuri care colectează deja date într-un mod fiabil.
• Dezvoltați parteneriate. Majoritatea cercetărilor ECHO implică mai mult de o parte: hub-uri care lucrează împreună sau un hub în parteneriat cu un cercetător care are expertiză în domeniu. Rețelele de colaborare ECHO sunt un loc bun pentru a găsi programe care lucrează la întrebări similare. Nu trebuie să găsiți soluția singuri.
• Căutați finanțare pentru cercetare. Proiectele de cercetare riguroase au nevoie, de obicei, de sprijin dincolo de bugetul programului.
• Prioritizați lacunele din baza de dovezi. Chiar și cu sute de studii, există puține informații despre rezultatele la nivelul beneficiarilor finali, studii clinice randomizate controlate, programe ECHO în educație, programe din țări cu venituri mici și mijlocii și elementele esențiale ale modelului ECHO. Acoperirea unei lacune vă sporește șansele de finanțare și publicare.

Referințe și resurse

• Centers for Disease Control and Prevention. (2024). Cadrul de evaluare a programelor din sănătatea publică. MMWR Recommendations and Reports, 73(RR-6), 1–37.
• Moore, D. E., Green, J. S., & Gallis, H. A. (2009). Obținerea rezultatelor dorite și îmbunătățirea rezultatelor: Integrarea planificării și evaluării pe parcursul activităților de învățare. Journal of Continuing Education in the Health Professions, 29(1), 1–15.
• New York Academy of Medicine. (2017). Evaluarea Project ECHO 101: Ghid practic pentru evaluarea programului dumneavoastră.
• PERL: biblioteca de șabloane de evaluare a Institutului ECHO, inclusiv modelul logic și instrumentele de sondaj menționate mai sus.
• Tabloul de bord al publicațiilor ECHO: cercetări evaluate de colegi (peer-reviewed) despre ECHO, ce pot fi căutate după subiect și nivelul rezultatului.

Aveți întrebări despre evaluarea programului dumneavoastră? Contactați echipa de cercetare și evaluare a Institutului ECHO la adresa jljones8@salud.unm.edu.