Monitoreo de resultados para el éxito del programa

La evaluación puede parecer intimidante si no la ha realizado antes, pero no tiene por qué serlo. Tratada como una parte rutinaria de la planificación del programa, le dice qué está funcionando, muestra a los financiadores la diferencia que marca su programa y le ayuda a hacer más por las personas a las que sus participantes atienden. Esta guía detalla los pasos para planificar una evaluación, un modelo de siete niveles para elegir resultados, los datos que recomendamos que recopile todo programa ECHO y formas de seguir aprendiendo de lo que reúna.

¿Por qué evaluar?

Existen tres razones principales para evaluar su programa ECHO:

• Mejora del programa. La mejora continua pregunta qué está funcionando y qué requiere atención. Si no está llegando a los participantes que se propuso reclutar, por ejemplo, sus datos pueden mostrarle dónde reorientarse: nuevas regiones, nuevas profesiones o nuevos canales de difusión.
• Resultados y elementos esenciales. ¿Su programa está cambiando los resultados que le interesan? ¿Qué partes del Modelo ECHO producen el impacto: las presentaciones didácticas, las presentaciones de casos, la discusión entre pares? ¿Y qué aporta ECHO cuando es solo una pieza de una intervención más amplia?
• Financiamiento y sostenibilidad. La evaluación es fundamental para el financiamiento. Es casi imposible asegurar o renovar el apoyo sin evidencia de que el programa funciona.

La evaluación también es uno de los 10 servicios esenciales de salud pública, por lo que incorporarla desde el principio coloca a su programa en la misma posición que los sistemas que pretende fortalecer.

Siga un ciclo de planificación

Utilizamos el Marco para la Evaluación de Programas en Salud Pública de los CDC. Existe desde hace más de 20 años y fue actualizado en 2024. Es sencillo e iterativo, y cada paso importa. El resto de este artículo sigue sus seis pasos.

1. Evaluar el contexto. Comprenda el entorno del programa, quiénes tienen interés en él y si está listo para ser evaluado.
2. Describir el programa. Detalle lo que invierte, lo que hace, a quién llega y qué debería cambiar.
3. Enfocar las preguntas y el diseño de la evaluación. Decida qué necesita saber y qué tan riguroso debe ser el diseño.
4. Recopilar evidencia creíble. Recopile datos con métodos que se adapten a sus preguntas y a su capacidad.
5. Generar y fundamentar conclusiones. Analice e interprete los resultados en función de estándares claros.
6. Actuar a partir de los hallazgos. Comparta lo que aprenda y utilícelo para mejorar el programa.

En el centro del ciclo se encuentran los estándares que toda evaluación debe cumplir: relevancia y utilidad, rigor, independencia y objetividad, transparencia y ética. Alrededor se encuentran tres prácticas que atraviesan cada paso: participar de manera colaborativa, promover la equidad y aprender y utilizar los conocimientos adquiridos.

Equidad y humildad cultural

La evaluación no es una actividad neutral, particularmente cuando se trabaja con comunidades que han contado con escasos recursos o han experimentado traumas. En entornos de investigación tendemos a asumir que somos objetivos, pero la evaluación y la investigación son procesos sociales, sujetos a los mismos sesgos que cualquier otro. A quién involucra, qué preguntas hace, qué mide y cómo informa los resultados son todas decisiones, y ninguna de ellas es neutral.

Considere la cultura, la raza, la etnia, el poder, el trauma y la voz en cada punto del proceso: la participación de las partes interesadas, el diseño del programa, las preguntas de evaluación, las mediciones, la recopilación y el análisis de datos, la presentación de informes y la elección de consultores de evaluación. Estos recursos son una buena base:

• Marco de Evaluación Equitativa de la Iniciativa de Evaluación Equitativa
• Preguntas orientadoras para una evaluación culturalmente adaptada de MDRC
• Declaración pública sobre la competencia cultural en la evaluación de la Asociación Americana de Evaluación

Paso 1: Evaluar el contexto

Evaluar el contexto es el primer paso del ciclo; sin embargo, los equipos a menudo involucran a sus partes interesadas al final. Involúcrelos desde el principio. Incluso los participantes tienen opiniones útiles sobre qué resultados son importantes y cuáles es factible medir, y es posible que conozcan datos que usted podría utilizar.

Examine cuatro componentes del contexto:

• Preparación para la evaluación. Una evaluación de la evaluabilidad analiza si el programa está realmente listo para ser evaluado.
• Personas. Identifique a las partes interesadas: a quiénes afecta el programa, quiénes influyen en él y quiénes desean conocer los resultados.
• Lugar. Documente el entorno y las características del programa.
• Capacidad de evaluación. Evalúe la capacidad de su equipo para evaluar y reflexione francamente sobre su propia preparación como evaluador.

Las partes interesadas de un programa ECHO suelen incluir:

• Financiadores
• Liderazgo de su institución
• Organizaciones asociadas
• Personal del programa
• El equipo del hub y los ponentes
• Participantes de ECHO
• Grupos profesionales
• Grupos de “consumidores”: los pacientes, estudiantes o miembros de la comunidad a los que atienden sus participantes

Paso 2: Describir el programa

Sea claro sobre lo que está haciendo. Un modelo lógico expone la «lógica» de su programa: lo que invierte, lo que hace, a quién llega y qué cambia como resultado. Trabajar en uno es una excelente manera de involucrar a las partes interesadas. Incluso un programa simple se ve diferente desde distintas perspectivas, y sacar a la luz esas diferencias a tiempo resulta productivo. Vuelva al modelo con el tiempo a medida que el programa crezca.

La plantilla es deliberadamente amplia. Hágala específica para su programa, especialmente si la utilizará para comunicarse con partes interesadas externas. Sus cinco columnas son:

• Insumos: lo que invierte. Financiamiento, el equipo del hub, participantes y socios, además de cualquier buena práctica, directriz o currículo sobre el que se construya el programa.
• Actividades: lo que hace. Reclutamiento, sesiones virtuales periódicas y gratuitas, presentaciones didácticas breves, presentaciones de casos y recomendaciones, aprendizaje bidireccional facilitado entre pares y expertos, y grabaciones y recursos a pedido. Si hay otras intervenciones vinculadas a su ECHO, inclúyalas para que el contexto sea claro.
• Productos: a quién llega. Sesiones realizadas, participantes únicos, características de los participantes, tasas de asistencia y satisfacción.
• Resultados a corto plazo: aprendizaje y acción. Mayor conocimiento, habilidades, confianza y autoeficacia; mejor uso de prácticas basadas en la evidencia; menor aislamiento profesional y mayor satisfacción laboral.
• Resultados a largo plazo: cambio. Mejores resultados para los beneficiarios finales, como pacientes o estudiantes; mejoras en las organizaciones y sistemas que respaldan la práctica basada en la evidencia; mejores medidas poblacionales y una mayor retención del personal.

Ejemplo: ECHO de Mejora de la Salud Perinatal

El modelo de este programa señala las mejores prácticas que promueve (los paquetes de seguridad del paciente AIM) como un insumo, y vincula un cambio de práctica específico y observable (menos estigma y lenguaje menos estigmatizante hacia las personas embarazadas y en posparto que consumen sustancias) con los resultados en los pacientes y la comunidad que espera ver. Esa especificidad es lo que hace que los resultados sean medibles.

Elija los resultados con el modelo de siete niveles de Moore

Decidir sobre los resultados suele ser la parte más difícil. Utilizamos el marco de resultados ampliado de Moore, desarrollado para la educación médica continua, para ir más allá de las «encuestas de satisfacción superficiales» hacia resultados más significativos. La pirámide se construye de abajo hacia arriba: cada nivel depende de los inferiores.

La mayoría de los programas ECHO se dirigen a los Niveles 1 al 4 y se basan en medidas subjetivas, pidiendo a los participantes que evalúen su propio cambio en conocimientos y competencia. El Nivel 5, desempeño, es donde ECHO se traslada al mundo real, y es la piedra angular de todo el modelo: si los participantes no cambian lo que hacen, no hay camino hacia los resultados en los beneficiarios finales o poblacionales.

• Si su programa ya está establecido, intente medir el cambio de práctica. Los métodos del Paso 4 le ayudarán.
• Si su programa es nuevo, piense desde ahora en cómo su plan de estudios influirá en los cambios de práctica que desea ver, y vincule las sesiones con esos cambios.

Paso 3: Enfocar el diseño de la evaluación

Con las partes interesadas comprometidas y un modelo lógico en mano, decida qué tan riguroso debe ser el diseño. Los diseños suelen hacerse más sofisticados a medida que un programa madura, o antes si ya cuenta con experiencia en evaluación o con un evaluador dedicado en el equipo.

Paso 4: Recopilar evidencia creíble

Una vez establecido el diseño, recopile los datos. Estos son los métodos estandarizados que ha desarrollado el ECHO Institute. Utilice las plantillas vinculadas tal como están o adáptelas a su programa.

Algunas notas sobre los métodos menos familiares:

• La autorreflexión del equipo del hub consulta si su equipo está siguiendo las mejores prácticas de ECHO. Reserve tiempo para revisar los datos que ya tiene en lugar de esperar un informe. Muchos equipos se reúnen regularmente para analizar juntos sus paneles de control.
• La encuesta de seguimiento de presentación de casos se envía al presentador un mes o dos después de su caso, para saber si las recomendaciones fueron útiles y qué cambió para el paciente, estudiante o sistema.
• Los minigrupos focales sacan a la luz beneficios, barreras y cambios en la práctica y los sistemas que una encuesta puede pasar por alto.

Datos recomendados

Como mínimo, recomendamos que cada programa mida la satisfacción, los conocimientos y la relevancia después de cada sesión. Las preguntas a continuación provienen de las plantillas de encuestas de comentarios, que están integradas en iECHO (consulte Realizar una encuesta de comentarios de la sesión) y también están disponibles en PERL.

Medir el cambio en la práctica

Comience con una pregunta: ¿qué quiere que los participantes hagan de manera diferente debido a ECHO? Respóndala primero de forma general y luego desglose la respuesta en partes específicas. «Manejar el trastorno por uso de opioides en atención primaria» es una meta; «prescribir buprenorfina» y «evaluar a cada paciente nuevo con una herramienta validada» son prácticas que se pueden medir.

Si siente que es demasiado pronto para responder, no se preocupe. Los programas se encuentran en distintas etapas y definir el cambio de práctica que desea forma parte de la planificación del programa. Hacerlo bien representa un avance hacia la evaluación. Las formas de recopilar datos sobre el cambio de práctica incluyen:

• Encuestas y grupos focales o entrevistas
• Historias clínicas electrónicas
• Métricas de mejora de la calidad

Paso 5: Generar y respaldar conclusiones

El análisis, ya sea cualitativo o cuantitativo, está guiado por la pregunta en cuestión y los datos disponibles. Interprete los resultados en función de los estándares establecidos con antelación:

• Resultados. ¿Alcanzó el nivel que se fijó, como un aumento significativo en el conocimiento antes y después del programa?
• Valores. Declárelos con claridad. ¿Qué hallazgos se consideran positivos o negativos dados los objetivos de su programa?
• Partes interesadas. ¿Los hallazgos reflejan su experiencia y expectativas? Si no es así, ¿por qué?

Las recomendaciones deben ser coherentes con sus conclusiones y adecuadas teniendo en cuenta los límites de sus hallazgos. ¿Tendría su programa el mismo efecto en un contexto diferente? Indique qué será relevante para el éxito o el fracaso en el futuro.

Paso 6: Utilizar los datos para el aprendizaje

Es fácil limitarse a presentar informes solo a los financiadores. Compartir datos con el equipo de su programa con mayor frecuencia los hace mucho más útiles. Para cada audiencia, decida el contenido, el formato y la frecuencia:

• Audiencia. Financiadores, líderes, el equipo del hub, participantes, organizaciones socias, la comunidad.
• Contenido. Lo que cada audiencia necesita saber para tomar una decisión o percibir el valor del programa.
• Formato. Paneles de control, informes escritos, una diapositiva en una reunión de equipo, una nota en una sesión.
• Frecuencia. Trimestral para una revisión del equipo, anual para un financiador, lo que sea necesario para mantener los datos en uso.

Cierre el ciclo compartiendo lo aprendido con los participantes, sus organizaciones y las comunidades a las que presta servicio. Ellos le dieron los datos; muéstreles qué cambiaron.

Paneles de control en iECHO

El Centro de analítica de iECHO ofrece al equipo de su hub vistas listas para revisar en conjunto: asistencia, información sobre los participantes y comentarios sobre las sesiones. Comience con el Panel general, luego explore los paneles de Participantes y Formularios. Incluir uno de estos en la agenda de una reunión de equipo periódica es la forma más sencilla de crear el hábito de aprender de sus datos.

A partir de la evaluación: investigación de ECHO

No existe una línea divisoria entre la evaluación y la investigación. Utilizan las mismas herramientas y a menudo se plantean las mismas preguntas; la investigación suele asumir una mayor complejidad y rigor. Más de 900 publicaciones revisadas por pares sobre ECHO están catalogadas en el panel de publicaciones de ECHO, y su distribución a través de los niveles de Moore refleja lo que la mayoría de los programas miden.

Resultados en los pacientes en la literatura científica

La investigación tiende hacia medidas objetivas: datos de reclamaciones, registros médicos electrónicos, revisión de historias clínicas, encuestas a pacientes y otros conjuntos de datos programáticos o administrativos. La mayoría de los estudios de resultados en los pacientes realizados hasta la fecha provienen de la hepatitis C, la diabetes, el VIH y el manejo del dolor. Las medidas de resultados que utilizaron pueden sugerir lo que su propio programa podría rastrear.

Oportunidades de investigación

Si desea pasar de la evaluación a la investigación, algunas cosas pueden ayudar:

• Construya sobre sus bases de evaluación. Los estudios rigurosos dependen de estructuras que ya recopilan datos de manera confiable.
• Establezca alianzas. La mayoría de las investigaciones sobre ECHO involucran a más de una parte: hubs trabajando juntos, o un hub junto con un investigador que tenga experiencia en la materia. Las redes de colaboración de ECHO son un buen lugar para encontrar programas que trabajen en preguntas similares. No tiene que resolverlo solo.
• Busque financiamiento para la investigación. Los diseños rigurosos suelen necesitar apoyo más allá del presupuesto del programa.
• Priorice las brechas en la base de evidencia. Incluso con cientos de estudios, hay poco sobre los resultados en los beneficiarios finales, ensayos controlados aleatorizados, programas ECHO de educación, programas en países de ingresos bajos y medios y los elementos esenciales del Modelo ECHO. Llenar una brecha mejora sus probabilidades de financiamiento y publicación.

Referencias y recursos

• Centros para el Control y la Prevención de Enfermedades. (2024). Marco para la evaluación de programas en salud pública. MMWR Recommendations and Reports, 73(RR-6), 1–37.
• Moore, D. E., Green, J. S., & Gallis, H. A. (2009). Lograr los resultados deseados y mejores resultados: integración de la planificación y la evaluación a lo largo de las actividades de aprendizaje. Journal of Continuing Education in the Health Professions, 29(1), 1–15.
• Academia de Medicina de Nueva York. (2017). Evaluación de Project ECHO 101: Una guía práctica para evaluar su programa.
• PERL: la biblioteca de plantillas de evaluación del ECHO Institute, que incluye el modelo lógico y los instrumentos de encuesta vinculados anteriormente.
• Panel de publicaciones de ECHO: investigaciones revisadas por pares sobre ECHO, que se pueden buscar por tema y nivel de resultado.

¿Tiene preguntas sobre la evaluación de su programa? Póngase en contacto con el equipo de investigación y evaluación del ECHO Institute en jljones8@salud.unm.edu.