Мониторинг результатов для успеха программы

Оценка может показаться сложной процедурой, если вы не проводили ее раньше, но в этом нет ничего страшного. Когда оценка рассматривается как повседневная часть планирования программы, она показывает, что работает, демонстрирует грантодателям результаты вашей программы и помогает приносить больше пользы людям, которых обслуживают ваши участники. В этом руководстве рассматриваются этапы планирования оценки, семиуровневая модель выбора результатов, данные, которые мы рекомендуем собирать каждой программе ECHO, а также способы непрерывного обучения на основе собранной информации.

Зачем проводить оценку?

Существует три основные причины для оценки вашей программы ECHO:

• Улучшение программы. Непрерывное совершенствование позволяет понять, что работает хорошо, а что требует внимания. Например, если вы не привлекаете тех слушателей, которых планировали набрать, ваши данные подскажут, куда перенаправить усилия: в новые регионы, к новым профессиям или новым каналам информирования.
• Результаты и ключевые элементы. Приводит ли ваша программа к важным для вас результатам? Какие именно компоненты модели ECHO обеспечивают воздействие: дидактические материалы, разборы случаев, обсуждение с коллегами? И каков вклад ECHO, когда она является лишь частью более крупного вмешательства?
• Финансирование и устойчивость. Оценка имеет решающее значение для финансирования. Практически невозможно получить или продлить поддержку без доказательств того, что программа работает.

Оценка также является одной из 10 основных услуг общественного здравоохранения, поэтому ее включение с самого начала ставит вашу программу в равные условия с системами, которые она призвана укреплять.

Следуйте циклу планирования

Мы используем Концепцию оценки программ в сфере общественного здравоохранения Центров по контролю и профилактике заболеваний США (CDC). Она существует уже более 20 лет и была обновлена в 2024 году. Эта концепция проста и итеративна, и в ней важен каждый шаг. В остальной части статьи описаны ее шесть шагов.

1. Оцените контекст. Изучите условия реализации программы, кто в ней заинтересован и готова ли она к проведению оценки.
2. Опишите программу. Подробно изложите, что вы инвестируете, что делаете, на кого ориентируетесь и что должно измениться.
3. Сформулируйте вопросы и дизайн оценки. Определите, что вам необходимо узнать и насколько строгим должен быть дизайн.
4. Соберите достоверные доказательства. Собирайте данные методами, которые соответствуют вашим вопросам и ресурсам.
5. Сформулируйте и обоснуйте выводы. Проанализируйте и проинтерпретируйте результаты в соответствии с четкими стандартами.
6. Применяйте полученные результаты. Делитесь полученными знаниями и используйте их для совершенствования программы.

В центре цикла находятся стандарты, которым должна соответствовать любая оценка: актуальность и польза, строгость, независимость и объективность, прозрачность и этика. На внешнем уровне находятся три практики, пронизывающие каждый этап: совместное участие, содействие справедливости, а также обучение и использование полученных выводов.

Равноправие и культурная скромность

Оценка не является нейтральным процессом, особенно если вы работаете с сообществами, испытывающими недостаток ресурсов или пережившими травму. В исследовательской среде мы склонны считать себя объективными, однако оценка и исследования — это социальные процессы, подверженные тем же предвзятостям, что и любые другие. То, кого вы привлекаете, какие вопросы задаете, что измеряете и как представляете результаты — все это выбор, и ни одно из решений не является нейтральным.

Учитывайте культуру, расу, этническую принадлежность, динамику власти, травму и мнение участников на каждом этапе процесса: при взаимодействии со заинтересованными сторонами, разработке программы, формулировании вопросов оценки, выборе показателей, сборе и анализе данных, подготовке отчетности и выборе консультантов по оценке. Эти ресурсы послужат хорошей основой:

• Концепция справедливой оценки от Equitable Evaluation Initiative
• Руководящие вопросы для оценки с учетом культурных особенностей от MDRC
• Официальное заявление о культурной компетентности в оценке от Американской ассоциации оценки

Шаг 1: Оценка контекста

Оценка контекста — это первый шаг цикла, однако команды часто привлекают заинтересованные стороны в последнюю очередь. Привлекайте их как можно раньше. Даже у участников есть ценное мнение о том, какие результаты действительно важны и какие из них реально измерить, а также они могут знать о данных, которые вы могли бы использовать.

Рассмотрите четыре компонента контекста:

• Готовность к оценке. Оценка возможности проведения оценки отвечает на вопрос о том, готова ли программа к оценке в принципе.
• Люди. Определите заинтересованных лиц: на кого влияет программа, кто на нее влияет, кто хочет знать результаты.
• Место. Задокументируйте условия и особенности реализации программы.
• Потенциал для проведения оценки. Оцените возможности вашей команды проводить оценку и честно проанализируйте собственную готовность в качестве эксперта по оценке.

Заинтересованными сторонами программы ECHO обычно являются:

• Финансирующие организации
• Руководство вашей организации
• Партнерские организации
• Сотрудники программы
• Команда хаба и докладчики
• Участники ECHO
• Профессиональные сообщества
• Группы «потребителей»: пациенты, студенты или члены местного сообщества, с которыми работают ваши участники

Шаг 2: Описание программы

Четко определите, что именно вы делаете. Логическая модель описывает «логику» вашей программы: во что вы инвестируете, что делаете, на кого выходите и какие изменения происходят в результате. Проработка такой модели — отличный способ привлечь заинтересованные стороны. Даже простая программа выглядит по-разному с разных точек зрения, и раннее выявление этих различий очень продуктивно. Возвращайтесь к модели по мере роста программы.

Этот шаблон нарочито универсален. Сделайте его конкретным для вашей программы, особенно если вы будете использовать его для общения с внешними заинтересованными сторонами. Его пять столбцов:

• Ресурсы: во что вы инвестируете. Финансирование, команда хаба, участники и партнеры, а также любые передовые практики, руководства или учебная программа, на которых строится программа.
• Деятельность: что вы делаете. Набор участников, регулярные бесплатные виртуальные сессии, краткие дидактические презентации, разборы клинических случаев и рекомендации, фасилитируемое двустороннее обучение между коллегами и экспертами, а также записи и материалы по запросу. Если с вашей программой ECHO связаны другие мероприятия, включите их, чтобы контекст был понятен.
• Прямые результаты: охват аудитории. Проведенные сессии, уникальные участники, характеристики участников, показатели посещаемости и удовлетворенность.
• Краткосрочные результаты: обучение и действия. Рост знаний, навыков, уверенности и самоэффективности; расширение использования практик с доказанной эффективностью; снижение профессиональной изоляции и повышение удовлетворенности работой.
• Долгосрочные результаты: изменения. Улучшение показателей у конечных благополучателей, таких как пациенты или учащиеся, совершенствование организаций и систем, поддерживающих научно обоснованную практику, улучшение показателей здоровья населения и повышение удержания кадров.

Пример: ECHO по улучшению перинатального здоровья

В модели этой программы передовые практики, которые она продвигает (пакеты мер по безопасности пациентов AIM), указаны в качестве ресурсов, а конкретное, наблюдаемое изменение практики — снижение стигмы и менее стигматизирующий язык по отношению к беременным и родильницам, употребляющим психоактивные вещества, — связывается с результатами для пациентов и сообщества, которых планируется достичь. Именно эта конкретизация делает результаты измеримыми.

Выбор результатов с помощью семиуровневой модели Мура

Определение результатов — часто самая сложная часть. Мы используем расширенную модель результатов Мура, разработанную для непрерывного медицинского образования, чтобы выйти за рамки анкетирования «на удовлетворенность» и получить более значимые результаты. Пирамида строится снизу вверх: каждый уровень зависит от нижележащих.

Большинство программ ECHO ориентированы на уровни с 1 по 4 и опираются на субъективные показатели, предлагая участникам оценить собственные изменения в знаниях и компетентности. Уровень 5, практическое применение, — это этап, на котором ECHO выходит в реальный мир, и он является ключевым элементом всей модели: если участники не меняют свою практическую деятельность, достижение результатов для конечных благополучателей или населения становится невозможным.

• Если ваша программа уже сформировалась, попробуйте измерить изменения в практике. В этом вам помогут методы, описанные в Шаге 4.
• Если ваша программа новая, подумайте уже сейчас о том, как учебный план повлияет на желаемые изменения в практике, и свяжите занятия с этими изменениями.

Шаг 3. Определите направленность дизайна оценки

Привлекая заинтересованные стороны и имея на руках логическую модель, решите, насколько строгим должен быть дизайн оценки. Как правило, методы оценки становятся более сложными по мере развития программы, или раньше, если у вас уже есть опыт проведения оценки либо отдельный специалист по оценке в команде.

Шаг 4: Сбор достоверных доказательств

После того как модель разработана, соберите данные. Это стандартизированные методы, разработанные Институтом ECHO. Используйте шаблоны по ссылкам в готовом виде или адаптируйте их под свою программу.

Несколько замечаний о менее знакомых методах:

• Самоанализ команды хаба позволяет оценить, следует ли ваша команда передовому опыту ECHO. Выделите время на просмотр уже имеющихся у вас данных, а не ждите отчета. Многие команды регулярно встречаются для совместного анализа своих аналитических панелей.
• Опрос по итогам представления случая направляется докладчику через месяц или два после его случая, чтобы узнать, были ли рекомендации полезными и что изменилось для пациента, учащегося или системы.
• Мини-фокус-группы позволяют выявить преимущества, барьеры и изменения в практике и системах, которые опрос может упустить.

Рекомендуемые данные

Как минимум, мы рекомендуем каждой программе измерять удовлетворенность, полученные знания и актуальность после каждой сессии. Вопросы ниже взяты из шаблонов опросов обратной связи, которые встроены в iECHO (см. Проведение опроса обратной связи по сессии), а также доступны в PERL.

Оценка изменений в практической деятельности

Начните с одного вопроса: что участники должны делать иначе благодаря ECHO? Сначала ответьте на него обобщенно, затем разбейте ответ на конкретные составляющие. «Лечение расстройств, связанных с употреблением опиоидов, в первичном звене» — это цель; «назначать бупренорфин» и «скринировать каждого нового пациента с помощью валидированного инструмента» — это практики, которые можно измерить.

Если вам кажется, что отвечать пока рано, это нормально. Программы находятся на разных этапах, и определение желаемых изменений в практике — часть планирования программы. Грамотное выполнение этого шага — это шаг вперед на пути к оценке. Способы сбора данных об изменениях в практике включают:

• Опросы, а также фокус-группы или интервью
• Электронные медицинские карты
• Показатели улучшения качества

Шаг 5: Сформулируйте и обоснуйте выводы

Анализ — качественный или количественный — определяется поставленным вопросом и имеющимися у вас данными. Интерпретируйте результаты в соответствии со стандартами, установленными заранее:

• Результаты. Достигли ли вы поставленной планки, например, значительного повышения уровня знаний после прохождения программы по сравнению с исходным?
• Ценности. Сформулируйте их четко. Какие результаты считаются положительными или отрицательными с учетом целей вашей программы?
• Заинтересованные стороны. Отражают ли полученные результаты их опыт и ожидания? Если нет, то почему?

Рекомендации должны соответствовать вашим выводам и быть обоснованными с учетом ограничений полученных результатов. Была бы ваша программа столь же эффективной в другом контексте? Укажите, что будет иметь значение для успеха или неудачи в будущем.

Шаг 6: Используйте данные для обучения

Легче всего предоставлять отчеты только грантодателям. Более частая передача данных команде вашей программы делает их гораздо более полезными. Для каждой аудитории определите содержание, формат и периодичность:

• Аудитория. Финансирующие организации, руководство, команда хаба, участники, партнерские организации, местное сообщество.
• Содержание. Что необходимо знать каждой аудитории, чтобы принять решение или осознать ценность программы.
• Формат. Дашборды, письменные отчеты, слайд на рабочей встрече команды, заметка во время сессии.
• Периодичность. Ежеквартально для анализа командой, ежегодно для финансирующей организации — с любой частотой, позволяющей поддерживать активное использование данных.

Завершите цикл, поделившись полученными выводами с участниками, их организациями и сообществами, которым вы служите. Они предоставили вам данные — покажите им, к каким изменениям это привело.

Дашборды в iECHO

Аналитический центр iECHO предоставляет вашей команде хаба готовые отчеты для совместного анализа: посещаемость, данные об участниках и отзывы о сессиях. Начните с дашборда «Обзор», затем изучите дашборды «Участники» и «Формы». Включение одного из этих отчетов в повестку дня регулярной встречи команды — самый простой способ сформировать привычку учиться на основе своих данных.

Опираясь на оценку: исследования ECHO

Между оценкой и исследованиями нет четкой грани. В них используются одни и те же инструменты и часто задаются одни и те же вопросы; исследования обычно отличаются большей сложностью и строгой методологией. Более 900 рецензируемых публикаций о модели ECHO каталогизированы на дашборде публикаций ECHO, а их распределение по уровням Мура отражает то, что оценивает большинство программ.

Результаты для пациентов в научной литературе

Исследования ориентированы на объективные показатели: данные страховых выплат, электронные медицинские карты, анализ медицинских записей, опросы пациентов и другие наборы программных или административных данных. Большинство исследований исходов лечения среди пациентов на сегодняшний день касаются гепатита C, сахарного диабета, ВИЧ и терапии боли. Использованные в них показатели исходов могут подсказать, что могла бы отслеживать ваша собственная программа.

Возможности для исследований

Если вы хотите перейти от оценки к исследованиям, вам помогут следующие рекомендации:

• Опирайтесь на базу, созданную в ходе оценки. Строгие исследования зависят от структур, которые уже надежно собирают данные.
• Развивайте партнерские отношения. Большинство исследований ECHO привлекают более одной стороны: хабы, работающие вместе, или хаб в сочетании с исследователем, обладающим профильной экспертизой. Коллаборации ECHO — хорошее место для поиска программ, работающих над похожими вопросами. Вам не нужно разбираться во всем в одиночку.
• Ищите финансирование для исследований. Строгие научные методологии обычно требуют поддержки, выходящей за рамки бюджета программы.
• Уделяйте первостепенное внимание пробелам в доказательной базе. Даже при наличии сотен исследований существует мало данных о конечных результатах для благополучателей, рандомизированных контролируемых исследованиях, образовательных программах ECHO, программах в странах с низким и средним уровнем дохода и ключевых элементах модели ECHO. Восполнение пробела повышает ваши шансы на получение финансирования и публикацию.

Ссылки и ресурсы

• Centers for Disease Control and Prevention. (2024). Framework for program evaluation in public health. MMWR Recommendations and Reports, 73(RR-6), 1–37.
• Moore, D. E., Green, J. S., & Gallis, H. A. (2009). Achieving desired results and improved outcomes: Integrating planning and assessment throughout learning activities. Journal of Continuing Education in the Health Professions, 29(1), 1–15.
• New York Academy of Medicine. (2017). Project ECHO Evaluation 101: A practical guide for evaluating your program.
• PERL: библиотека шаблонов оценки Института ECHO, включая логическую модель и опросники, ссылки на которые приведены выше.
• Дашборд публикаций ECHO: рецензируемые исследования по ECHO с возможностью поиска по теме и уровню результатов.

Есть вопросы об оценке вашей программы? Свяжитесь с командой Института ECHO по исследованиям и оценке по адресу jljones8@salud.unm.edu.