Pagsubaybay sa mga resulta para sa tagumpay ng programa

Maaaring maging nakakatakot ang ebalwasyon kung hindi mo pa ito nagagawa noon, ngunit hindi kailangang maging ganito. Kung ituturing bilang isang karaniwang bahagi ng pagpaplano ng programa, sinasabi nito sa iyo kung ano ang gumagana, ipinapakita sa mga nagpopondo ang pagkakaiba na ginagawa ng iyong programa at tinutulungan kang gumawa ng higit pa para sa mga taong pinaglilingkuran ng iyong mga kalahok. Tinatalakay ng gabay na ito ang mga hakbang sa pagpaplano ng ebalwasyon, isang pitong antas na modelo para sa pagpili ng mga resulta, ang datos na inirerekomenda naming kolektahin ng bawat programang ECHO at mga paraan upang patuloy na matuto mula sa iyong nakakalap.

Bakit mag-eebalwasyon?

May tatlong pangunahing dahilan upang suriin ang iyong programang ECHO:

• Pagpapabuti ng programa. Nagtatanong ang patuloy na pagpapabuti kung ano ang gumagana at ano ang nangangailangan ng pansin. Halimbawa, kung hindi mo naabot ang mga mag-aaral na nais mong kunin, maipapakita ng iyong datos kung saan magbabago ng direksyon: mga bagong rehiyon, mga bagong propesyon o mga bagong channel ng outreach.
• Mga resulta at mahahalagang elemento. Nababago ba ng iyong programa ang mga resultang mahalaga sa iyo? Aling mga bahagi ng ECHO Model ang nagdudulot ng epekto: ang mga didaktiko, ang mga presentasyon ng kaso, ang talakayan sa pagitan ng mga kapwa kalahok? At ano ang naiaambag ng ECHO kapag ito ay isang bahagi ng mas malaking interbensyon?
• Pagpopondo at pagpapanatili. Mahalaga ang ebalwasyon sa pagpopondo. Halos imposibleng makakuha o magpanibago ng suporta nang walang ebidensya na gumagana ang programa.

Ang ebalwasyon ay isa rin sa 10 mahahalagang serbisyo sa pampublikong kalusugan, kaya ang pagsasama nito mula sa simula ay naglalagay sa iyong programa sa parehong antas ng mga sistemang layunin nitong palakasin.

Sundin ang isang siklo ng pagpaplano

Ginagamit namin ang Framework for Program Evaluation in Public Health ng CDC. Higit 20 taon na itong ginagamit at na-update noong 2024. Ito ay simple at paulit-ulit, at mahalaga ang bawat hakbang. Ang natitirang bahagi ng artikulong ito ay sumusunod sa anim na hakbang nito.

1. Suriin ang konteksto. Unawain ang setting ng programa, kung kanino may kaugnayan ito at kung handa na ba itong suriin.
2. Ilarawan ang programa. Ilatag kung ano ang iyong ipinapasok, ano ang iyong ginagawa, sino ang iyong naabot at ano ang dapat magbago.
3. I-pokus ang mga tanong at disenyo ng ebalwasyon. Magdesisyon kung ano ang kailangan mong malaman at kung gaano kamahigpit ang disenyo.
4. Mangalap ng mapagkakatiwalaang ebidensya. Mangolekta ng datos gamit ang mga pamamaraang angkop sa iyong mga tanong at sa iyong kakayahan.
5. Bumuo at suportahan ang mga konklusyon. Suriin at bigyang-kahulugan ang mga resulta ayon sa malinaw na mga pamantayan.
6. Kumilos ayon sa mga natuklasan. Ibahagi ang iyong natutunan at gamitin ito upang mapabuti ang programa.

Sa gitna ng siklo ay ang mga pamantayan na dapat matugunan ng bawat ebalwasyon: kaugnayan at pakinabang, pagiging mahigpit, pagiging independyente at obhetibo, pagiging transparent at etika. Sa paligid nito ay tatlong gawaing nagpapatuloy sa bawat hakbang: makipagtulungan sa pakikipag-ugnayan, isulong ang pagkakapantay-pantay, at matuto mula sa at gamitin ang mga pananaw.

Pagkakapantay-pantay at pagpapakumbabang pangkultura

Ang ebalwasyon ay hindi isang neutral na gawain, lalo na kapag nagtatrabaho ka sa mga pamayanang kulang sa mapagkukunan o nakaranas ng trauma. Sa mga kapaligiran ng pananaliksik, malamang na ipinapalagay natin na tayo ay obhetibo, ngunit ang ebalwasyon at pananaliksik ay mga panlipunang proseso, na napapailalim sa parehong mga pagkiling katulad ng alinmang bagay. Kung sino ang iyong kinakasama, aling mga tanong ang iyong itinatanong, ano ang iyong sinusukat at kung paano mo iniuulat ang mga resulta ay lahat mga pagpili, at walang alinman sa mga ito ang neutral.

Isaalang-alang ang kultura, lahi, etnisidad, kapangyarihan, trauma at boses sa bawat punto ng proseso: pakikipag-ugnayan ng stakeholder, disenyo ng programa, mga tanong sa ebalwasyon, mga sukatan, pagtitipon at pagsusuri ng datos, pag-uulat at ang iyong pagpili ng mga konsultant sa ebalwasyon. Ang mga mapagkukunang ito ay isang magandang pundasyon:

• Equitable Evaluation Framework mula sa Equitable Evaluation Initiative
• Mga gabay na katanungan para sa pagtatasa na tumutugon sa kultura mula sa MDRC
• Pampublikong pahayag sa kakayahang pangkultura sa pagtatasa mula sa American Evaluation Association

Hakbang 1: Suriin ang konteksto

Ang pagsusuri sa konteksto ang unang hakbang sa siklo, ngunit madalas na huling kinakasangkapan ng mga koponan ang kanilang mga stakeholder. Isama sila nang maaga. Kahit ang mga kalahok ay may kapaki-pakinabang na opinyon tungkol sa kung aling mga resulta ang mahalaga at kung alin ang kayang sukatin, at maaaring may alam sila tungkol sa datos na maaari mong gamitin.

Tingnan ang apat na bahagi ng konteksto:

• Kahandaan sa pagtatasa. Ang pagtatasa ng kakayahang matasa ay nagtatanong kung ang programa ba ay handa nang tasahin.
• Mga tao. Tukuyin ang mga may interes: sino ang naapektuhan ng programa, sino ang nakakaimpluwensya rito, at sino ang gustong makaalam ng mga resulta.
• Lugar. Itala ang kapaligiran at mga katangian ng programa.
• Kakayahan sa pagtatasa. Suriin ang kakayahan ng iyong koponan na magtasa, at magmuni-muni nang tapat sa iyong sariling kahandaan bilang isang tagatasa.

Karaniwang kabilang sa mga stakeholder para sa isang programang ECHO ang:

• Mga nagpopondo
• Pamunuan sa iyong institusyon
• Mga katuwang na organisasyon
• Mga tauhan ng programa
• Ang koponan ng hub at mga tagapagsalita
• Mga kalahok sa ECHO
• Mga propesyonal na grupo
• Mga grupong “Consumer”: ang mga pasyente, estudyante o miyembro ng komunidad na pinaglilingkuran ng iyong mga kalahok

Hakbang 2: Ilarawan ang programa

Maging malinaw sa kung ano ang iyong ginagawa. Inilalatag ng isang logic model ang "lohika" ng iyong programa: kung ano ang iyong ipinapasok, kung ano ang ginagawa mo, kung sino ang iyong naaabot, at kung ano ang nagbabago bilang resulta. Ang pagpapatakbo sa pamamagitan ng isa ay isang mahusay na paraan upang isangkot ang mga stakeholder. Kahit ang isang simpleng programa ay nagmumukhang iba mula sa iba't ibang pananaw, at ang pagpapalabas sa mga pagkakaibang iyon nang maaga ay kapaki-pakinabang. Balikan ang modelo sa paglipas ng panahon habang lumalaki ang programa.

Ang padron ay sadyang malawak. Gawin itong partikular sa iyong programa, lalo na kung gagamitin mo ito upang makipag-ugnayan sa mga panlabas na stakeholder. Ang limang haligi nito ay:

• Mga Input: kung ano ang iyong ipinapasok. Pondo, ang hub team, mga kalahok at kapareha, pati na rin ang anumang pinakamahuhusay na kagawian, gabay o kurikulum kung saan itinayo ang programa.
• Mga Gawain: kung ano ang iyong ginagawa. Pagre-recruit, mga regular na libreng virtual session, maiikling presentasyong didaktiko, mga presentasyon at rekomendasyon sa kaso, pinapadaling dalawahang pagkatuto sa pagitan ng mga kapwa kalahok at eksperto, at mga nakatagong rekording at mapagkukunan. Kung ang ibang mga interbensyon ay nakakonekta sa iyong ECHO, isama ang mga ito upang maging malinaw ang konteksto.
• Mga Output: kung sino ang iyong naaabot. Mga naisagawang session, mga natatanging kalahok, mga katangian ng kalahok, mga antas ng pagdalo at kasiyahan.
• Pang-maikling panahon na mga resulta: pagkatuto at pagkilos. Tumaas na kaalaman, kasanayan, kumpiyansa at self-efficacy; pinahusay na paggamit ng mga kasanayang nakabatay sa ebidensya; nabawasang propesyonal na pagkakabukod at pinahusay na kasiyahan sa trabaho.
• Pang-matagalang panahon na mga resulta: pagbabago. Pinahusay na mga resulta para sa mga huling benepisyaryo tulad ng mga pasyente o mag-aaral, mga pagpapabuti sa mga organisasyon at sistema na sumusuporta sa kasanayang nakabatay sa ebidensya, mas mahusay na mga sukat ng populasyon at pinahusay na pagpapanatili ng lakas-paggawa.

Halimbawa: Pagpapabuti ng Perinatal Health ECHO

Tinutukoy ng modelo ng programang ito ang pinakamahuhusay na kagawian na itinataguyod nito (ang AIM patient safety bundles) bilang isang input, at iniuugnay nito ang isang tiyak at napapansing pagbabago sa kasanayan, mas kaunting stigma at mas kaunting nagtatanging wika sa mga buntis at pagkatapos manganak na gumagamit ng mga substance, sa mga resulta ng pasyente at komunidad na inaasahan nitong makita. Ang pagiging tiyak na iyon ang nagpapaging masusukat sa mga resulta.

Pumili ng mga resulta gamit ang pitong-antas na modelo ni Moore

Ang pagpapasya sa mga resulta ay madalas na pinakamahirap na bahagi. Ginagamit namin ang pinalawak na balangkas ng resulta ni Moore, na binuo para sa patuloy na edukasyong medikal upang lumampas sa "mga smile sheet" tungo sa mas makabuluhang mga resulta. Ang piramide ay nabubuo mula ibaba pataas: ang bawat antas ay nakasalalay sa mga nasa ibaba nito.

Karamihan sa mga programa ng ECHO ay nakatutok sa mga Antas 1 hanggang 4 at umaasa sa mga subhetibong sukatan, na humihiling sa mga kalahok na suriin ang kanilang sariling pagbabago sa kaalaman at kakayahan. Ang Antas 5, pagganap, ay kung saan lumilipat ang ECHO sa tunay na mundo, at ito ang pangunahing haligi ng buong modelo: kung hindi babaguhin ng mga kalahok ang kanilang ginagawa, walang paraan upang maabot ang mga resulta para sa huling benepisyaryo o populasyon.

• Kung nakatayo na ang iyong programa, subukang sukatin ang pagbabago sa praktis. Makatutulong ang mga pamamaraan sa Hakbang 4.
• Kung bago ang iyong programa, pag-isipan na ngayon kung paano maiimpluwensyahan ng iyong kurikulum ang mga pagbabago sa praktis na gusto mong makita, at ikonekta ang mga sesyon sa mga pagbabagong iyon.

Hakbang 3: Ituon ang disenyo ng ebalwasyon

Sa pakikilahok ng mga stakeholder at hawak ang isang logic model, magdesisyon kung gaano kahigpit dapat ang disenyo. Ang mga disenyo ay karaniwang nagiging mas sopistikado habang lumalago ang isang programa, o mas maaga kung mayroon ka nang karanasan sa ebalwasyon o isang nakalaang evaluator sa koponan.

Hakbang 4: Mangalap ng mapagkakatiwalaang ebidensya

Kapag nakahanda na ang disenyo, kolektahin ang datos. Ito ang mga pamantayang pamamaraan na binuo ng ECHO Institute. Gamitin ang mga nakalink na template gaya ng mga ito o i-akma ang mga ito sa inyong programa.

Ilang tala sa mga pamamaraang hindi gaanong pamilyar:

• Sariling pagninilay ng koponan ng Hub ay nagtatanong kung ang iyong koponan ay sumusunod sa mga pinakamahusay na kasanayan ng ECHO. Maglaan ng oras upang suriin ang datos na mayroon ka na sa halip na maghintay ng ulat. Maraming koponan ang regular na nagpupulong upang sama-samang suriin ang kanilang mga dashboard.
• Ang survey ukol sa follow-up case presentation ay ipinapadala sa nagpresenta pagkalipas ng isa o dalawang buwan mula sa kanilang kaso, upang malaman kung naging kapaki-pakinabang ang mga rekomendasyon at kung ano ang nabago para sa pasyente, mag-aaral o sistema.
• Ang mga mini-focus group ay nagpapakita ng mga benepisyo, hadlang at mga pagbabago sa praktis at mga sistema na maaaring hindi makuha sa isang survey.

Inirerekomendang data

Sa pinakamababang antas, inirerekomenda namin na sukatin ng bawat programa ang kasiyahan, kaalaman at kaugnayan pagkatapos ng bawat sesyon. Ang mga tanong sa ibaba ay nagmula sa mga template ng feedback survey, na nakapaloob sa iECHO (tingnan ang Pagsasagawa ng session feedback survey) at available din sa PERL.

Pagsukat sa pagbabago sa praktis

Magsimula sa isang tanong: ano ang gusto mong gawing iba ng mga kalahok dahil sa ECHO? Sagutin muna ito nang pangkalahatan, pagkatapos ay hatiin ang sagot sa mga tiyak na bahagi. Ang “Pangasiwaan ang opioid use disorder sa primary care” ay isang layunin; ang “magreseta ng buprenorphine” at “i-screen ang bawat bagong pasyente gamit ang isang napatunayang tool” ay mga gawi na maaari mong masukat.

Kung nararamdaman mong masyado pang maaga para sumagot, maayos lang iyon. Ang mga programa ay nasa iba't ibang yugto, at ang pagtukoy sa pagbabago sa gawi na gusto mo ay bahagi ng pagpaplano ng programa. Ang paggawa nito nang maayos ay progreso patungo sa ebalwasyon. Kabilang sa mga paraan upang mangolekta ng data sa pagbabago sa gawi ang:

• Mga survey, at mga focus group o panayam
• Mga elektronikong rekord sa kalusugan
• Mga sukatan sa pagpapabuti ng kalidad

Hakbang 5: Bumuo at suportahan ang mga konklusyon

Ang pagsusuri, kwalitatibo man o kwantitatibo, ay ginagabayan ng kasalukuyang tanong at ng data na mayroon ka. Bigyang-kahulugan ang mga resulta batay sa mga pamantayang itinakda mo nang maaga:

• Mga resulta. Naabot mo ba ang antas na itinakda mo para sa iyong sarili, tulad ng isang makabuluhang pagtaas ng kaalaman mula bago hanggang pagkatapos ng programa?
• Mga pagpapahalaga. Ipahayag ang mga ito nang malinaw. Aling mga natuklasan ang itinuturing na positibo o negatibo batay sa mga layunin ng iyong programa?
• Mga stakeholder. Sinasalamin ba ng mga natuklasan ang kanilang karanasan at mga inaasahan? Kung hindi, bakit hindi?

Ang mga rekomendasyon ay dapat na tumutugma sa iyong mga konklusyon at angkop batay sa mga limitasyon ng iyong mga natuklasan. Magkakaroon ba ang iyong programa ng parehong epekto sa ibang konteksto? Sabihin kung ano ang mahalaga para sa tagumpay, o kabiguan, sa hinaharap.

Hakbang 6: Gamitin ang data para sa pagkatuto

Madaling mag-ulat sa mga nagpopondo lamang. Ang pagbibigay ng data sa koponan ng iyong programa nang mas madalas ay nagiging mas kapaki-pakinabang dito. Para sa bawat madla, magdesisyon sa nilalaman, pormat, at dalas:

• Madla. Mga nagpopondo, pamunuan, ang hub team, mga kalahok, mga kasosyong organisasyon, ang komunidad.
• Nilalaman. Kung ano ang kailangang malaman ng bawat madla upang gumawa ng desisyon o maramdaman ang halaga ng programa.
• Pormat. Mga dashboard, mga nakasulat na ulat, isang slide sa pagpupulong ng koponan, isang tala sa isang sesyon.
• Dalas. Bawat tatlong buwan para sa pagsusuri ng koponan, taun-taon para sa nagpopondo, anumang nagpapanatili sa paggamit ng data.

Kumpletuhin ang proseso sa pamamagitan ng pagbabahagi ng iyong natutunan sa mga kalahok, sa kanilang mga organisasyon, at sa mga komunidad na iyong pinaglilingkuran. Ibinigay nila sa iyo ang data; ipakita sa kanila kung ano ang nabago nito.

Mga dashboard sa iECHO

Ang iECHO Analytics Center ay nagbibigay sa koponan ng iyong hub ng mga nakahandang tanawin upang magkasamang suriin: pagdalo, mga insight ng kalahok, at feedback sa session. Magsimula sa Overview dashboard, pagkatapos ay suriin ang mga dashboard ng Mga Kalahok at Mga Form. Ang paglalagay ng isa sa mga ito sa agenda ng isang regular na pagpupulong ng koponan ang pinakasimpleng paraan upang bumuo ng gawi ng pagkatuto mula sa iyong data.

Pagbuo batay sa ebalwasyon: Pananaliksik sa ECHO

Walang malinaw na hangganan sa pagitan ng ebalwasyon at pananaliksik. Gumagamit ang mga ito ng parehong mga tool at madalas na nagtatanong ng parehong mga tanong; ang pananaliksik ay karaniwang mas kumplikado at mas mahigpit. Higit sa 900 peer-reviewed na publikasyon tungkol sa ECHO ang nakatala sa dashboard ng mga publikasyon ng ECHO, at ang pamamahagi ng mga ito sa iba't ibang antas ni Moore ay sumasalamin sa kung ano ang sinusukat ng karamihan sa mga programa.

Mga resulta sa pasyente sa literatura

Nagtutulak ang pananaliksik sa mga obhektibong sukat: datos ng mga claim, elektronikong rekord ng kalusugan, pagsusuri ng tsart, mga survey sa pasyente at iba pang pamporgrama o pampangasiwaang hanay ng datos. Karamihan sa mga pag-aaral ng resulta sa pasyente hanggang ngayon ay nagmumula sa hepatitis C, diyabetes, HIV at pamamahala ng sakit. Ang mga sukat ng resulta na ginamit nila ay maaaring magmungkahi kung ano ang maaaring subaybayan ng iyong sariling programa.

Mga oportunidad sa pananaliksik

Kung nais mong lumipat mula sa ebalwasyon patungo sa pananaliksik, narito ang ilang bagay na makatutulong:

• Magsimula sa iyong pundasyon ng ebalwasyon. Ang mga masusing pag-aaral ay nakadepende sa mga estruktura na maaasahang nangongolekta na ng datos.
• Bumuo ng mga pakikipagkapareha. Karamihan sa pananaliksik sa ECHO ay kinabibilangan ng higit sa isang partido: mga hub na nagtutulungan, o isang hub na nakatambal sa isang mananaliksik na may dalubhasa sa paksa. Ang mga ECHO collaborative ay magandang lugar upang makahanap ng mga programang nagtatrabaho sa katulad na mga katanungan. Hindi mo kailangang tuklasin ito nang mag-isa.
• Maghanap ng pondo para sa pananaliksik. Ang mga masusing disenyo ay karaniwang nangangailangan ng suporta nang higit pa sa badyet ng programa.
• Bigyang-priyoridad ang mga kakulangan sa batayan ng ebidensya. Kahit na may daan-daang pag-aaral, kaunti pa rin ang tungkol sa mga resulta para sa huling benepisyaryo, mga randomized controlled trial, mga ECHO sa edukasyon, mga programa sa mga bansang mababa at katamtaman ang kita, at ang mga mahahalagang elemento ng ECHO Model. Ang pagpuno sa kakulangan ay nagpapataas ng iyong tsansa sa pondo at publikasyon.

Mga sanggunian at mapagkukunan

• Centers for Disease Control and Prevention. (2024). Balangkas para sa ebalwasyon ng programa sa pampublikong kalusugan. MMWR Recommendations and Reports, 73(RR-6), 1–37.
• Moore, D. E., Green, J. S., & Gallis, H. A. (2009). Pagtamo ng mga ninanais na resulta at pinahusay na mga outcome: Pagpapasok ng pagpaplano at pagtatasa sa buong mga aktibidad sa pagkatuto. Journal of Continuing Education in the Health Professions, 29(1), 1–15.
• New York Academy of Medicine. (2017). Project ECHO Evaluation 101: Isang praktikal na gabay para sa ebalwasyon ng iyong programa.
• PERL: ang silid-aklatan ng ECHO Institute ng mga template para sa ebalwasyon, kabilang ang logic model at mga instrumento ng sarbey na nakalink sa itaas.
• Dashboard ng mga publikasyon ng ECHO: mga peer-reviewed na pananaliksik tungkol sa ECHO, na maaaring hanapin ayon sa paksa at antas ng resulta.

Mga tanong tungkol sa pag-eebalwate ng iyong programa? Makipag-ugnayan sa koponan ng pananaliksik at ebalwasyon ng ECHO Institute sa jljones8@salud.unm.edu.