Оцінювання може здатися складним завданням, якщо ви раніше цим не займалися, але це не обов'язково так. Якщо розглядати його як рутинну частину планування програми, воно показує, що працює, демонструє донорам різницю, яку робить ваша програма, і допомагає вам робити більше для людей, яких обслуговують ваші учасники. У цьому посібнику розглядаються кроки планування оцінювання, семирингова модель вибору результатів, дані, які ми рекомендуємо збирати кожній програмі ECHO, а також способи продовжувати навчатися на основі зібраного.
Цю статтю адаптовано з матеріалів сесії «Моніторинг результатів для успіху програми» — сесії віртуального ECHO Institute під назвою Partner Launch Training, підготовленої його командою з досліджень та оцінювання.
Навіщо проводити оцінювання?
Існує три основні причини для оцінювання вашої програми ECHO:
- Вдосконалення програми. Постійне вдосконалення передбачає аналіз того, що працює, а що потребує уваги. Наприклад, якщо ви не залучаєте слухачів, яких планували набрати, ваші дані можуть показати, куди переорієнтуватися: нові регіони, нові професії чи нові канали інформування.
- Результати та основні елементи. Чи впливає ваша програма на важливі для вас результати? Які саме частини моделі ECHO забезпечують цей вплив: дидактичні матеріали, презентації випадків, обговорення між колегами? І який внесок робить ECHO, коли є лише однією з частин ширшого втручання?
- Фінансування та сталість. Оцінювання має вирішальне значення для фінансування. Майже неможливо отримати або продовжити підтримку без доказів того, що програма працює.
Оцінювання також є однією з 10 основних послуг у сфері громадського здоров'я, тому його інтеграція від самого початку ставить вашу програму в однакові умови із системами, які вона покликана зміцнити.
Дотримуйтесь циклу планування
Ми використовуємо Структуру оцінювання програм у сфері громадського здоров'я від CDC. Вона існує вже понад 20 років і була оновлена у 2024 році. Вона проста та ітеративна, і кожен крок має значення. Решта цієї статті присвячена її шести крокам.
- Оцініть контекст. Зрозумійте середовище програми, зацікавлені сторони та її готовність до оцінювання.
- Опишіть програму. Окресліть, що ви інвестуєте, що робите, охоплення вашої аудиторії та що має змінитися.
- Сформулюйте питання та дизайн оцінювання. Визначте, що саме вам потрібно знати та наскільки суворим має бути дизайн.
- Зберіть надійні докази. Збирайте дані за допомогою методів, які відповідають вашим питанням і можливостям.
- Сформулюйте та обґрунтуйте висновки. Проаналізуйте та інтерпретуйте результати відповідно до чітких стандартів.
- Дійте на основі отриманих результатів. Діліться отриманими знаннями та використовуйте їх для вдосконалення програми.
У центрі циклу перебувають стандарти, яким має відповідати кожне оцінювання: релевантність і користь, точність, незалежність та об'єктивність, прозорість і етика. Зовні розташовані три практики, які пронизують кожен крок: спільна залученість, сприяння рівності, а також навчання на основі отриманих даних і їх використання.
Рівність та культурна смиренність
Оцінювання не є нейтральною діяльністю, особливо коли ви працюєте з громадами, які відчувають брак ресурсів або зазнали травм. У дослідницьких середовищах ми схильні припускати свою об'єктивність, але оцінювання та дослідження є соціальними процесами, схильними до тих самих упереджень, що й будь-що інше. Кого ви залучаєте, які питання ставите, що вимірюєте та як висвітлюєте результати — усе це вибір, і жоден із них не є нейтральним.
Враховуйте культуру, расу, етнічну приналежність, владу, травму та право голосу на кожному етапі процесу: залучення зацікавлених сторін, розробка програми, питання оцінювання, показники, збір та аналіз даних, звітність та вибір консультантів з оцінювання. Ці ресурси є доброю основою:
- Рамкова концепція справедливого оцінювання від Equitable Evaluation Initiative
- Орієнтовні запитання для оцінювання з урахуванням культурних особливостей від MDRC
- Публічна заява щодо культурної компетентності в оцінюванні від Американської асоціації оцінювання
Крок 1: Оцініть контекст
Оцінка контексту — це перший крок у циклі, однак команди часто залучають зацікавлені сторони в останню чергу. Залучайте їх якомога раніше. Навіть учасники мають корисні думки щодо того, які результати є важливими та які з них реально виміряти, а також можуть знати про дані, які ви могли б використати.
Розгляньте чотири компоненти контексту:
- Готовність до оцінювання. Оцінка готовності до оцінювання визначає, чи готова програма до проведення оцінювання загалом.
- Люди. Визначте зацікавлені сторони: на кого впливає програма, хто на неї впливає, хто прагне знати результати.
- Місце. Задокументуйте середовище та особливості програми.
- Спроможність до оцінювання. Оцініть спроможність вашої команди проводити оцінювання та чесно поміркуйте про власну готовність як оцінювача.
Зацікавлені сторони програми ECHO зазвичай включають:
- Донори
- Керівництво вашої установи
- Партнерські організації
- Працівники програми
- Команда хабу та доповідачі
- Учасники ECHO
- Професійні групи
- Групи «споживачів»: пацієнти, студенти або члени громади, яких обслуговують ваші учасники
Крок 2: Опишіть програму
Чітко розумійте, що саме ви робите. Логічна модель висвітлює «логіку» вашої програми: що ви інвестуєте, що робите, кого охоплюєте та які зміни відбуваються в результаті. Опрацювання такої моделі — чудовий спосіб залучити зацікавлені сторони. Навіть проста програма виглядає по-різному з різних точок зору, і раннє виявлення цих відмінностей є продуктивним. Повертайтеся до моделі з часом, у міру зростання програми.
Цей шаблон навмисно зроблено узагальненим. Зробіть його конкретним для вашої програми, особливо якщо ви використовуватимете його для комунікації із зовнішніми зацікавленими сторонами. Його п'ять стовпчиків — це:
- Ресурси: що ви інвестуєте. Фінансування, команда хабу, учасники та партнери, а також будь-які кращі практики, настанови чи навчальна програма, на яких побудована програма.
- Діяльність: що ви робите. Залучення учасників, регулярні безкоштовні віртуальні сесії, короткі дидактичні презентації, презентації випадків і рекомендації, фасилітоване двостороннє навчання між колегами та експертами, а також записи й ресурси за запитом. Якщо з вашим ECHO пов'язані інші заходи, включіть їх, щоб контекст був зрозумілим.
- Результати діяльності: кого ви охоплюєте. Проведені сесії, унікальні учасники, характеристики учасників, показники відвідуваності та задоволеності.
- Короткострокові результати: навчання та дії. Збільшення знань, навичок, упевненості та самоефективності; покращення використання практик, що ґрунтуються на доказах; зменшення професійної ізоляції та підвищення задоволеності роботою.
- Довгострокові результати: зміни. Покращення результатів для кінцевих бенефіціарів, таких як пацієнти чи студенти, удосконалення організацій і систем, що підтримують практику, базовану на доказах, кращі показники здоров'я населення та покращене утримання кадрів.
Приклад: ECHO з покращення перинатального здоров'я
Модель цієї програми визначає кращі практики, які вона популяризує (пакети заходів із безпеки пацієнтів AIM), як ресурс, і пов'язує конкретні, помітні зміни в практиці — зменшення стигми та менш стигматизуючу мову щодо вагітних і жінок після пологів, які вживають психоактивні речовини, — з результатами для пацієнтів і громади, які вона прагне побачити. Саме ця конкретика робить результати вимірюваними.
Обирайте результати за семирівневою моделлю Мура
Визначення результатів часто є найскладнішою частиною. Ми використовуємо розширену структуру результатів Мура, розроблену для безперервної медичної освіти, щоб вийти за рамки суто «опитувальників задоволеності» до більш значущих результатів. Піраміда будується знизу вгору: кожен рівень залежить від тих, що розташовані нижче.
| Рівень | Що вимірює | Джерела даних |
|---|---|---|
| 1. Участь | Кількість і демографічні дані учасників, показники відвідуваності, представлені випадки, переглянуті записи | Форми реєстрації, облікові записи відвідуваності, записи презентацій випадків, iECHO |
| 2. Задоволеність | Чи виправдалися очікування учасників щодо формату та змісту сесій | Опитування під час сесії, опитування після сесії |
| 3. Навчання (знає, знає як) | Чи можуть учасники сформулювати, що і як робити з того, що програма мала на меті їх навчити | Тести для перевірки знань (об’єктивно); самооцінка приросту знань (суб’єктивно) |
| 4. Компетентність (демонструє як) | Чи можуть учасники продемонструвати в навчальному середовищі, як робити те, що передбачала програма | Спостереження в навчальному середовищі (об’єктивно); самооцінка компетентності, впевненості або самоефективності (суб’єктивно) |
| 5. Практична діяльність (робить) | Чи застосовують учасники те, що передбачала програма, у власній практичній діяльності | Спостереження в реальних умовах, медичні чи освітні записи, адміністративні дані (об’єктивно); самооцінка змін у практиці або наміру змінити її (суб’єктивно) |
| 6. Результати для кінцевих бенефіціарів | Чи покращуються результати для пацієнтів, студентів або інших кінцевих бенефіціарів унаслідок змін у практиці учасників | Медичні чи освітні записи, адміністративні дані, повторні презентації випадків (об’єктивно); самооцінка покращень (суб’єктивно) |
| 7. Результати на рівні популяції | Чи є зміни серед людей, у політиках або системах результатом змін у практиці учасників | Адміністративні дані (об’єктивно); самооцінка змін, аналіз практичних випадків (суб’єктивно) |
Більшість програм ECHO орієнтовані на рівні від 1 до 4 і спираються на суб’єктивні показники, просячи учасників оцінити власні зміни в знаннях і компетентності. На рівні 5, практичне застосування, ECHO переходить у реальний світ, і це є наріжним каменем усієї моделі: якщо учасники не змінюють свою практичну діяльність, немає шляху до результатів для кінцевих бенефіціарів чи населення.
- Якщо ваша програма вже діє, спробуйте виміряти зміни в практичній діяльності. Методи з Кроку 4 допоможуть у цьому.
- Якщо ваша програма нова, подумайте вже зараз про те, як ваша навчальна програма вплине на бажані зміни в практиці, і пов’яжіть заняття із цими змінами.
Крок 3: Визначте спрямованість дизайну оцінювання
Залучивши зацікавлені сторони та маючи логічну модель, вирішіть, наскільки точним і суворим має бути дизайн оцінювання. Дизайн зазвичай стає складнішим із розвитком програми або раніше, якщо ви вже маєте досвід оцінювання чи окремого фахівця з оцінювання в команді.
| Де знаходиться ваша програма | Дизайн, який підходить |
|---|---|
| Нова програма або команда з невеликим досвідом оцінювання | Описовий: одномоментні або спостережні дані про те, хто брав участь і про що вони повідомили |
| Усталена програма, яка має досвід регулярного моніторингу | Дві або більше точок даних: вимірювання до та після, подальші опитування або лонгітюдне відстеження |
| Усталена програма з додатковим фінансуванням, фахівцем з оцінювання або дослідницьким партнером | Групи порівняння: рандомізація або методи оцінки схильності, щоб показати, що сталося б без ECHO |
Крок 4: Зберіть надійні докази
Після визначення дизайну зберіть дані. Це стандартизовані методи, розроблені Інститутом ECHO. Використовуйте шаблони за посиланнями у готовому вигляді або адаптуйте їх до своєї програми.
| Метод | Що він фіксує | Коли |
|---|---|---|
| Реєстраційні форми (Zoom або iECHO) | Роль учасника, організація, розташування, стать та інші характеристики | Перша сесія |
| Програмні записи (iECHO) | Відвідуваність, кількість сесій, кількість випадків | Кожна сесія |
| Питання опитування під час сесії (Zoom) | Намір використати інформацію та перешкоди для цього | Щосесії |
| Опитування після сесії (iECHO або REDCap) | Задоволеність та знання | Щосесії |
| Повторне опитування (iECHO або REDCap) | Зміни в практиці та охоплені люди | Щорічно |
| Саморефлексія команди хабу | Відповідність моделі ECHO; аналіз отриманих наразі даних | Щокварталу |
| Повторне опитування щодо презентації випадку | Корисність рекомендацій; результати для кінцевих бенефіціарів та систем; люди, на яких це вплинуло | Через один-два місяці після презентації випадку |
| Мініфокус-групи | Переваги та перешкоди для участі; зміни в практиці та системах | Щорічно |
Уникайте довгих опитувань. Ваша логічна модель допомагає визначити пріоритети щодо того, про що запитувати на кожному етапі програми.
Кілька приміток щодо менш знайомих методів:
- Саморефлексія команди хабу дає змогу з'ясувати, чи дотримується ваша команда найкращих практик ECHO. Виділіть час для перегляду даних, які ви вже маєте, замість того щоб чекати на звіт. Багато команд регулярно зустрічаються, щоб разом проаналізувати свої панелі моніторингу.
- Опитування за результатами розгляду випадку надсилається доповідачу через місяць або два після презентації випадку, щоб дізнатися, чи були рекомендації корисними та що змінилося для пацієнта, студента чи системи.
- Мініфокус-групи виявляють переваги, перешкоди та зміни в практиці й системах, які може пропустити опитування.
Рекомендовані дані
Як мінімум, ми рекомендуємо кожній програмі оцінювати задоволеність, рівень знань і актуальність після кожної сесії. Наведені нижче запитання взяті з шаблонів опитувань зворотного зв'язку, які вбудовано в iECHO (див. Проведення опитування зворотного зв'язку за підсумками сесії) і які також доступні в PERL.
| Показник | Запитання | Варіанти відповідей |
|---|---|---|
| Задоволеність | З якою ймовірністю ви порекомендуєте цю сесію [або курс] колезі? | від 1 (зовсім малоймовірно) до 10 (надзвичайно ймовірно) |
| Знання | Оцініть свої знання (або навички) з теми до сесії. Оцініть свої знання (або навички) з теми після сесії. | Зовсім ні, незначно, помірно, значно або надзвичайно обізнаний(-а) |
| Актуальність (бажано) | Чи використовуватимете ви матеріали цієї сесії у своїй роботі? | Точно ні, скоріше ні, можливо, скоріше так, точно так, не застосовується |
| Актуальність (альтернатива) | Наскільки ця сесія [або курс] є актуальною для вашої поточної роботи? | Зовсім ні, незначно, помірно, дуже або надзвичайно актуальна |
Оцінювання змін у практиці
Почніть із одного запитання: що саме, на вашу думку, учасники мають робити по-іншому завдяки ECHO? Спочатку дайте узагальнену відповідь, а потім розбийте її на конкретні деталі. «Ведення розладів, пов'язаних із вживанням опіоїдів, у первинній медичній допомозі» — це мета; «призначати бупренорфін» та «проводити скринінг кожного нового пацієнта за допомогою перевіреного інструменту» — це практики, які ви можете виміряти.
Якщо вам здається, що відповідати ще зарано, це нормально. Програми перебувають на різних етапах, і визначення бажаних змін у практиці є частиною планування програми. Якісне виконання цього кроку є просуванням до оцінювання. Способи збору даних про зміни в практиці включають:
- Опитування, а також фокус-групи або інтерв'ю
- Електронні медичні карти
- Показники покращення якості
Дослідницька етика. Ознайомтеся з вимогами Етичного комітету з біомедичних досліджень (IRB) вашої установи або його аналога. Дані, які ви збираєте, рідко є конфіденційними, але ви збираєте їх у людей, і вони містять персональні ідентифікатори. Для покращення якості розгляд IRB може не вимагатися, але вимоги IRB та вимоги до публікацій різняться, тому дотримуйтесь вказівок вашої установи та залучіть експертів для допомоги.
Крок 5: Сформулюйте та обґрунтуйте висновки
Аналіз, якісний чи кількісний, визначається поставленим запитанням та наявними даними. Інтерпретуйте результати відповідно до стандартів, встановлених заздалегідь:
- Результати. Чи досягли ви планки, яку перед собою поставили, наприклад, значного зростання знань порівняно з рівнем до початку програми?
- Цінності. Чітко визначте їх. Які результати вважаються позитивними чи негативними з огляду на цілі вашої програми?
- Зацікавлені сторони. Чи відображають отримані дані їхній досвід та очікування? Якщо ні, то чому?
Рекомендації мають відповідати вашим висновкам і бути доречними з урахуванням обмежень отриманих даних. Чи матиме ваша програма такий самий ефект у іншому контексті? Вкажіть, що матиме значення для успіху або невдачі у майбутньому.
Крок 6: Використовуйте дані для навчання
Найпростіше — звітувати лише донорам. Частіше передання даних вашій програмній команді робить їх значно кориснішими. Для кожної аудиторії визначте зміст, формат та частоту:
- Аудиторія. Донори, керівництво, команда хабу, учасники, організації-партнери, спільнота.
- Зміст. Що саме потрібно знати кожній аудиторії, щоб прийняти рішення або відчути цінність програми.
- Формат. Інтерактивні панелі (дашборди), письмові звіти, слайд на командній зустрічі, примітка під час сесії.
- Частота. Щоквартально для огляду командою, щорічно для донора — будь-який графік, що забезпечує постійне використання даних.
Завершіть цикл, поділившись отриманими висновками з учасниками, їхніми організаціями та спільнотами, якими ви опікуєтеся. Вони надали вам дані — покажіть їм, що саме змінилося завдяки цьому.
Дашборди в iECHO
Аналітичний центр iECHO надає команді вашого хабу готові подання для спільного аналізу: відвідуваність, аналітику щодо учасників та відгуки про сесії. Почніть із панелі огляду, а потім детальніше вивчіть панелі Учасники та Форми. Включення одного з цих звітів до порядку денного регулярної зустрічі команди — найпростіший спосіб сформувати звичку навчатися на основі власних даних.
На основі оцінювання: дослідження ECHO
Чіткої межі між оцінюванням та дослідженнями немає. У них використовуються ті самі інструменти й часто ставляться ті самі запитання; дослідження зазвичай вирізняються більшою складністю та суворістю наукового підходу. Понад 900 рецензованих публікацій про ECHO каталогізовано на панелі публікацій ECHO, а їхній розподіл за рівнями Мура відображає те, що вимірює більшість програм.
| Рівень Мура | Рецензовані публікації (квітень 2026 р.) |
|---|---|
| 1. Участь | 668 |
| 2. Задоволеність | 453 |
| 3. Навчання | 480 |
| 4. Компетентність | 360 |
| 5. Практична діяльність | 280 |
| 6. Результати для кінцевих бенефіціарів | 110 |
| 7. Результати для населення | 16 |
Результати для пацієнтів у науковій літературі
Дослідження спрямовані на об'єктивні показники: дані про страхові відшкодування, електронні медичні картки, аналіз медичних карт, опитування пацієнтів та інші програмні чи адміністративні набори даних. Більшість досліджень результатів лікування пацієнтів на сьогодні стосуються гепатиту C, цукрового діабету, ВІЛ та управління болем. Використані в них показники результатів можуть підказати, що саме може відстежувати ваша власна програма.
| Тема | Показники результатів |
|---|---|
| Вірус гепатиту C (ВГС) | Стійка вірусологічна відповідь; тестування на ВГС; визначення стадії захворювання у пацієнтів для лікування; отримання лікування хронічної інфекції ВГС |
| Ендокринологія | Заявлений пацієнтами доступ до медичної допомоги та отримання допомоги, заснованої на доказах; рівень HbA1c та інші передові практики, такі як огляд очей і стоп |
| ВІЛ | Люди, які пройшли тестування на ВІЛ; особи, яким призначено антиретровірусну терапію; пригнічення вірусного навантаження; профілактика передачі від матері до дитини |
| Онкологія | Кількість пацієнтів, які пройшли скринінг, діагностику та лікування; початок і завершення вакцинації проти ВПЛ |
| Управління болем | Призначення опіоїдів та еквіваленти міліграмів морфіну; одночасне призначення опіоїдів і бензодіазепінів; пацієнти, які розпочали прийом неопіоїдних препаратів; отримання неопіоїдних препаратів або інших методів лікування болю |
| Довготривалий догляд | Повторна госпіталізація та інші показники після виписки до закладів кваліфікованого сестринського догляду; показники якості медичної допомоги серед мешканців будинків для людей похилого віку; витрати на відділення невідкладної допомоги серед геріатричних пацієнтів із розладами психічного здоров'я |
| Розлади, пов'язані з вживанням психоактивних речовин та опіоїдів | Отримання бупренорфіну для лікування розладів, пов'язаних із вживанням опіоїдів; тривалість призначень бупренорфіну |
| Психічне та поведінкове здоров'я | Повідомлені пацієнтами показники наскрізних симптомів DSM-5; повідомлена пацієнтами шкала оцінки інвалідності ВООЗ |
Можливості для досліджень
Якщо ви прагнете перейти від оцінювання до досліджень, вам допоможуть кілька речей:
- Спирайтеся на основу вашого оцінювання. Ґрунтовні дослідження залежать від структур, які вже надійно збирають дані.
- Розвивайте партнерства. Більшість досліджень ECHO залучають більше ніж одну сторону: хаби, які працюють разом, або хаб у співпраці з дослідником, який має відповідну експертизу. Спільноти ECHO — це чудове місце для пошуку програм, що працюють над схожими питаннями. Вам не потрібно розбиратися з цим самотужки.
- Шукайте фінансування для досліджень. Ґрунтовні дослідження зазвичай потребують підтримки поза межами бюджету програми.
- Надавайте пріоритет прогалинам у доказовій базі. Навіть за наявності сотень досліджень, існує мало даних про результати для кінцевих бенефіціарів, рандомізовані контрольовані дослідження, освітні програми ECHO, програми в країнах із низьким та середнім рівнем доходу та ключові елементи моделі ECHO. Заповнення цих прогалин підвищує ваші шанси на отримання фінансування та публікацію.
Джерела та ресурси
- Центри з контролю та профілактики захворювань. (2024). Концепція оцінювання програм у сфері охорони здоров'я. MMWR Recommendations and Reports, 73(RR-6), 1–37.
- Moore, D. E., Green, J. S., & Gallis, H. A. (2009). Досягнення бажаних результатів та покращення показників: інтеграція планування та оцінювання під час навчальної діяльності. Journal of Continuing Education in the Health Professions, 29(1), 1–15.
- Нью-Йоркська медична академія. (2017). Оцінювання Project ECHO 101: практичний посібник з оцінювання вашої програми.
- PERL: бібліотека шаблонів оцінювання Інституту ECHO, включаючи логічну модель та інструменти опитування, посилання на які наведено вище.
- Панель публікацій ECHO: рецензовані дослідження про ECHO з можливістю пошуку за темою та рівнем результатів.
Маєте запитання щодо оцінювання вашої програми? Зверніться до команди досліджень та оцінювання Інституту ECHO за адресою jljones8@salud.unm.edu.