Monitoramento de resultados para o sucesso do programa

A avaliação pode parecer intimidadora se você nunca a fez antes, mas não precisa ser. Tratada como uma parte rotineira do planejamento do programa, ela mostra o que está funcionando, demonstra aos financiadores a diferença que seu programa faz e ajuda você a fazer mais pelas pessoas que seus participantes atendem. Este guia apresenta as etapas do planejamento de uma avaliação, um modelo de sete níveis para a escolha de resultados, os dados que recomendamos que todo programa ECHO colete e maneiras de continuar aprendendo com o que você reúne.

Por que avaliar?

Existem três motivos principais para avaliar seu programa ECHO:

• Melhoria do programa. A melhoria contínua questiona o que está funcionando e o que precisa de atenção. Se você não estiver alcançando os participantes que pretendia recrutar, por exemplo, seus dados podem mostrar para onde redirecionar: novas regiões, novas profissões ou novos canais de divulgação.
• Resultados e elementos essenciais. Seu programa está impulsionando os resultados com os quais você se importa? Quais partes do Modelo ECHO produzem o impacto: as apresentações didáticas, as apresentações de casos, a discussão entre pares? E o que o ECHO contribui quando é uma peça de uma intervenção maior?
• Financiamento e sustentabilidade. A avaliação é fundamental para o financiamento. É quase impossível obter ou renovar o apoio sem evidências de que o programa funciona.

A avaliação também é um dos 10 serviços essenciais de saúde pública; portanto, incorporá-la desde o início coloca seu programa no mesmo patamar dos sistemas que ele visa fortalecer.

Siga um ciclo de planejamento

Usamos a Estrutura para Avaliação de Programas em Saúde Pública do CDC. Ela existe há mais de 20 anos e foi atualizada em 2024. É simples e iterativa, e cada etapa importa. O restante deste artigo segue suas seis etapas.

1. Avalie o contexto. Compreenda o cenário do programa, quem são as partes interessadas e se ele está pronto para ser avaliado.
2. Descreva o programa. Apresente o que você investe, o que você faz, quem alcança e o que deve mudar.
3. Defina o foco das perguntas e do desenho da avaliação. Decida o que você precisa saber e quão rigoroso deve ser o desenho.
4. Colete evidências credíveis. Colete dados com métodos adequados às suas perguntas e à sua capacidade.
5. Gere e fundamente conclusões. Analise e interprete os resultados com base em padrões claros.
6. Aja com base nos achados. Compartilhe o que aprendeu e use isso para melhorar o programa.

No centro do ciclo estão os padrões que toda avaliação deve atender: relevância e utilidade, rigor, independência e objetividade, transparência e ética. Ao redor, há três práticas que perpassam todas as etapas: engajar-se de forma colaborativa, promover a equidade e aprender e utilizar os aprendizados obtidos.

Equidade e humildade cultural

A avaliação não é uma atividade neutra, especialmente quando se trabalha com comunidades com escassez de recursos ou que vivenciaram traumas. Em ambientes de pesquisa, tendemos a presumir que somos objetivos, mas a avaliação e a pesquisa são processos sociais, sujeitos aos mesmos vieses que qualquer outra atividade. Quem você engaja, quais perguntas faz, o que mede e como relata os resultados são escolhas, e nenhuma delas é neutra.

Considere a cultura, raça, etnia, poder, trauma e voz em cada ponto do processo: engajamento das partes interessadas, desenho do programa, perguntas de avaliação, medidas, coleta e análise de dados, relatórios e a escolha de consultores de avaliação. Estes recursos são uma boa base:

• Estrutura de Avaliação Equitativa da Equitable Evaluation Initiative
• Perguntas orientadoras para uma avaliação culturalmente responsiva do MDRC
• Declaração pública sobre competência cultural em avaliação da American Evaluation Association

Etapa 1: Avaliar o contexto

Avaliar o contexto é a primeira etapa do ciclo, mas as equipes costumam envolver as partes interessadas por último. Envolva-as logo no início. Até mesmo os participantes têm opiniões úteis sobre quais resultados são importantes e quais são viáveis de medir, além de poderem saber sobre dados que você poderia utilizar.

Observe quatro componentes do contexto:

• Prontidão para avaliação. Uma avaliação de avaliabilidade questiona se o programa está realmente pronto para ser avaliado.
• Pessoas. Mapeie as partes interessadas: quem é afetado pelo programa, quem o influencia e quem deseja saber os resultados.
• Local. Documente o ambiente e as características do programa.
• Capacidade de avaliação. Avalie a capacidade da sua equipe de realizar avaliações e reflita com honestidade sobre a sua própria prontidão como avaliador.

As partes interessadas de um programa ECHO normalmente incluem:

• Financiadores
• Liderança da sua instituição
• Organizações parceiras
• Equipe do programa
• A equipe do hub e apresentadores
• Participantes do ECHO
• Grupos profissionais
• Grupos de “consumidores”: os pacientes, estudantes ou membros da comunidade atendidos pelos seus participantes

Etapa 2: Descrever o programa

Seja claro sobre o que você está fazendo. Um modelo lógico apresenta a “lógica” do seu programa: o que você investe, o que você faz, quem você alcança e o que muda como resultado. Trabalhar em um modelo lógico é uma excelente maneira de engajar as partes interessadas. Mesmo um programa simples parece diferente sob diferentes perspectivas, e trazer essas diferenças à tona logo no início é produtivo. Retorne ao modelo ao longo do tempo à medida que o programa cresce.

O modelo é deliberadamente amplo. Torne-o específico para o seu programa, especialmente se for usá-lo para se comunicar com partes interessadas externas. Suas cinco colunas são:

• Insumos: o que você investe. Financiamento, a equipe do hub, participantes e parceiros, além de quaisquer melhores práticas, diretrizes ou currículo em que o programa se baseia.
• Atividades: o que você faz. Recrutamento, sessões virtuais gratuitas regulares, apresentações didáticas breves, apresentações de casos e recomendações, aprendizagem bidirecional facilitada entre pares e especialistas, e gravações e recursos sob demanda. Se outras intervenções estiverem conectadas ao seu ECHO, inclua-as para que o contexto fique claro.
• Produtos: quem você alcança. Sessões realizadas, participantes únicos, características dos participantes, taxas de presença e satisfação.
• Resultados de curto prazo: aprendizagem e ação. Aumento de conhecimento, habilidades, confiança e autoeficácia; melhoria no uso de práticas informadas por evidências; diminuição do isolamento profissional e maior satisfação no trabalho.
• Resultados de longo prazo: mudança. Melhores resultados para os beneficiários finais, como pacientes ou estudantes, melhorias nas organizações e sistemas que apoiam a prática informada por evidências, melhores indicadores populacionais e maior retenção da força de trabalho.

Exemplo: ECHO de Melhoria da Saúde Perinatal

O modelo deste programa especifica as melhores práticas que promove (os pacotes de segurança do paciente AIM) como um insumo e vincula uma mudança prática específica e observável — menos estigma e linguagem menos estigmatizante em relação a pessoas grávidas e puérperas que usam substâncias — aos resultados nos pacientes e na comunidade que espera alcançar. Essa especificidade é o que torna os resultados mensuráveis.

Escolha resultados com o modelo de sete níveis de Moore

Decidir os resultados é muitas vezes a parte mais difícil. Usamos a estrutura expandida de resultados de Moore, desenvolvida para a educação médica continuada, para ir além de “pesquisas de satisfação superficiais” e obter resultados mais significativos. A pirâmide é construída de baixo para cima: cada nível depende dos níveis abaixo dele.

A maioria dos programas ECHO tem como alvo os Níveis 1 a 4 e baseia-se em medidas subjetivas, solicitando aos participantes que avaliem sua própria mudança em conhecimento e competência. O Nível 5, desempenho, é onde o ECHO avança para o mundo real e é o elemento central de todo o modelo: se os participantes não mudarem o que fazem, não haverá caminho para alcançar resultados para os beneficiários finais ou para a população.

• Se o seu programa já estiver estabelecido, tente medir a mudança de prática. Os métodos da Etapa 4 ajudarão.
• Se o seu programa for novo, pense agora sobre como o seu currículo influenciará as mudanças de prática que você deseja ver e vincule as sessões a essas mudanças.

Etapa 3: Definir o foco do desenho da avaliação

Com as partes interessadas engajadas e um modelo lógico em mãos, decida quão rigoroso o desenho deve ser. Os desenhos geralmente se tornam mais sofisticados à medida que o programa amadurece, ou antes, se você já tiver experiência em avaliação ou um avaliador dedicado na equipe.

Etapa 4: Reunir evidências confiáveis

Assim que o design estiver definido, colete os dados. Estes são os métodos padronizados que o ECHO Institute desenvolveu. Use os modelos vinculados como estão ou adapte-os ao seu programa.

Algumas observações sobre os métodos menos familiares:

• A autoreflexão da equipe do hub pergunta se sua equipe está seguindo as melhores práticas do ECHO. Reserve um tempo para revisar os dados que você já possui em vez de esperar por um relatório. Muitas equipes se reúnem regularmente para analisar seus painéis juntas.
• A pesquisa de acompanhamento da apresentação de caso é enviada ao apresentador um ou dois meses após o seu caso, para saber se as recomendações foram úteis e o que mudou para o paciente, estudante ou sistema.
• Minigrupos focais revelam benefícios, barreiras e mudanças na prática e nos sistemas que uma pesquisa pode não captar.

Dados recomendados

No mínimo, recomendamos que todos os programas meçam a satisfação, o conhecimento e a relevância após cada sessão. As perguntas abaixo vêm dos modelos de pesquisa de feedback, que estão integrados ao iECHO (consulte Realização de uma pesquisa de feedback da sessão) e também estão disponíveis na PERL.

Medição de mudanças na prática

Comece com uma pergunta: o que você quer que os participantes façam de diferente por causa do ECHO? Responda amplamente primeiro e, em seguida, divida a resposta em partes específicas. “Gerenciar o transtorno por uso de opioides na atenção primária” é uma meta; “prescrever buprenorfina” e “rastrear cada novo paciente com uma ferramenta validada” são práticas que você pode medir.

Se achar que ainda é muito cedo para responder, não há problema. Os programas estão em diferentes estágios, e definir a mudança de prática que você deseja faz parte do planejamento do programa. Fazer isso bem é um progresso em direção à avaliação. As formas de coletar dados sobre mudanças de prática incluem:

• Pesquisas e grupos focais ou entrevistas
• Prontuários eletrônicos de saúde
• Métricas de melhoria da qualidade

Etapa 5: Gerar e apoiar conclusões

A análise, qualitative ou quantitativa, é orientada pela pergunta em questão e pelos dados que você possui. Interprete os resultados com base em padrões definidos com antecedência:

• Resultados. Você atingiu o patamar que estabeleceu para si mesmo, como um aumento significativo no conhecimento do início ao fim do programa?
• Valores. Declare-os claramente. Quais achados contam como positivos ou negativos, considerando os objetivos do seu programa?
• Partes interessadas. Os achados refletem a experiência e as expectativas delas? Se não, por que não?

As recomendações devem ser consistentes com suas conclusões e adequadas, considerando os limites dos seus achados. O seu programa teria o mesmo efeito em um contexto diferente? Indique o que será importante para o sucesso, ou fracasso, no futuro.

Etapa 6: Usar dados para o aprendizado

É fácil fazer relatórios apenas para os financiadores. Disponibilizar dados para a equipe do seu programa com mais frequência torna-os muito mais úteis. Para cada público, decida o conteúdo, o formato e a frequência:

• Público. Financiadores, liderança, a equipe do hub, participantes, organizações parceiras, a comunidade.
• Conteúdo. O que cada público precisa saber para tomar uma decisão ou perceber o valor do programa.
• Formato. Painéis, relatórios escritos, um slide em uma reunião de equipe, uma nota em uma sessão.
• Frequência. Trimestralmente para uma revisão de equipe, anualmente para um financiador, o que mantiver os dados em uso.

Feche o ciclo compartilhando o que você aprendeu com os participantes, suas organizações e as comunidades que você atende. Eles lhe forneceram os dados; mostre-lhes o que isso mudou.

Painéis no iECHO

O Centro de Análises iECHO oferece à equipe do seu hub visualizações prontas para análise conjunta: frequência, informações sobre os participantes e feedback das sessões. Comece pelo Painel de visão geral, e depois explore os painéis de Participantes e Formulários. Incluir um deles na pauta de uma reunião regular da equipe é a maneira mais simples de criar o hábito de aprender com seus dados.

Construindo com base na avaliação: pesquisas do ECHO

Não há uma linha divisória rígida entre avaliação e pesquisa. Elas usam as mesmas ferramentas e frequentemente fazem as mesmas perguntas; a pesquisa geralmente envolve mais complexidade e rigor. Mais de 900 publicações revisadas por pares sobre o ECHO estão catalogadas no painel de publicações do ECHO, e sua distribuição entre os níveis de Moore reflete o que a maioria dos programas mede.

Resultados dos pacientes na literatura

A pesquisa avança em direção a medidas objetivas: dados de reajuste/sinistros, prontuários eletrônicos de saúde, revisão de prontuários, pesquisas com pacientes e outros conjuntos de dados programáticos ou administrativos. A maioria dos estudos de resultados de pacientes até o momento provém da hepatite C, diabetes, HIV e manejo da dor. As medidas de resultados que eles utilizaram podem sugerir o que seu próprio programa poderia acompanhar.

Oportunidades de pesquisa

Se você deseja passar da avaliação para a pesquisa, algumas coisas ajudam:

• Construa sobre a sua base de avaliação. Estudos rigorosos dependem de estruturas que já coletam dados de forma confiável.
• Crie parcerias. A maioria das pesquisas do ECHO envolve mais de uma parte: hubs trabalhando juntos, ou um hub em parceria com um pesquisador com experiência no assunto. As colaborativas do ECHO são um bom lugar para encontrar programas que trabalham em questões semelhantes. Você não precisa descobrir tudo sozinho.
• Busque financiamento para pesquisas. Desenhos de estudo rigorosos geralmente precisam de apoio além do orçamento do programa.
• Priorize as lacunas na base de evidências. Mesmo com centenas de estudos, há pouco sobre os resultados dos beneficiários finais, ensaios clínicos randomizados, ECHOs de educação, programas em países de baixa e média renda e os elementos essenciais do Modelo ECHO. Preencher uma lacuna aumenta suas chances de financiamento e publicação.

Referências e recursos

• Centers for Disease Control and Prevention. (2024). Estrutura para avaliação de programas em saúde pública. MMWR Recommendations and Reports, 73(RR-6), 1–37.
• Moore, D. E., Green, J. S., & Gallis, H. A. (2009). Alcançando resultados desejados e melhores impactos: integrando planejamento e avaliação em todas as atividades de aprendizagem. Journal of Continuing Education in the Health Professions, 29(1), 1–15.
• New York Academy of Medicine. (2017). Project ECHO Evaluation 101: Um guia prático para avaliar seu programa.
• PERL: a biblioteca de modelos de avaliação do ECHO Institute, incluindo o modelo lógico e os instrumentos de pesquisa vinculados acima.
• Painel de publicações do ECHO: pesquisas revisadas por pares sobre o ECHO, pesquisáveis por tópico e nível de resultado.

Dúvidas sobre a avaliação do seu programa? Entre em contato com a equipe de pesquisa e avaliação do ECHO Institute pelo e-mail jljones8@salud.unm.edu.