Đánh giá có thể mang lại cảm giác e ngại nếu bạn chưa từng làm trước đây, nhưng không nhất thiết phải như vậy. Khi được coi là một phần thường quy trong việc lập kế hoạch chương trình, hoạt động đánh giá cho bạn biết điều gì đang hoạt động hiệu quả, cho các nhà tài trợ thấy sự khác biệt mà chương trình của bạn mang lại và giúp bạn làm được nhiều hơn cho những người mà các người tham gia của bạn phục vụ. Hướng dẫn này sẽ từng bước trình bày các khâu lập kế hoạch đánh giá, mô hình bảy cấp độ để lựa chọn kết quả, dữ liệu mà chúng tôi khuyến nghị mọi chương trình ECHO nên thu thập và các cách để tiếp tục học hỏi từ những gì bạn thu thập được.
Bài viết này được cải biên từ “Giám sát kết quả để chương trình thành công”, một buổi đào tạo trong chuỗi ECHO Institute trực tuyến Partner Launch Training do đội ngũ nghiên cứu và đánh giá trình bày.
Tại sao cần đánh giá?
Có ba lý do chính để đánh giá chương trình ECHO của bạn:
- Cải thiện chương trình. Cải tiến liên tục đòi hỏi phải xem xét điều gì đang hoạt động tốt và điều gì cần chú ý. Ví dụ: nếu không tiếp cận được các học viên mà bạn dự định chiêu mộ, dữ liệu có thể chỉ ra nơi cần chuyển hướng: vùng miền mới, ngành nghề mới hoặc kênh tiếp cận mới.
- Kết quả và các yếu tố thiết yếu. Chương trình của bạn có đang thúc đẩy những kết quả mà bạn quan tâm không? Những phần nào của Mô hình ECHO tạo ra tác động: phần giảng dạy lý thuyết, các trình bày ca bệnh, thảo luận giữa các đồng nghiệp? Và ECHO đóng góp gì khi đây chỉ là một phần của một can thiệp lớn hơn?
- Kinh phí và tính bền vững. Đánh giá đóng vai trò trung tâm đối với việc tài trợ. Hầu như không thể đảm bảo hoặc gia hạn nguồn hỗ trợ nếu không có bằng chứng cho thấy chương trình hoạt động hiệu quả.
Đánh giá cũng là một trong 10 dịch vụ y tế công cộng thiết yếu, do đó việc tích hợp đánh giá ngay từ đầu sẽ giúp chương trình của bạn có cùng nền tảng với các hệ thống mà chương trình hướng tới củng cố.
Thực hiện theo chu trình lập kế hoạch
Chúng tôi sử dụng Khung Đánh giá Chương trình trong Y tế Công cộng của CDC. Khung này đã tồn tại hơn 20 năm và được cập nhật vào năm 2024. Khung này đơn giản, mang tính lặp lại và mỗi bước đều quan trọng. Phần còn lại của bài viết này sẽ tuân theo sáu bước đó.
- Đánh giá bối cảnh. Hiểu rõ bối cảnh của chương trình, những ai có lợi ích liên quan và liệu chương trình đã sẵn sàng để đánh giá hay chưa.
- Mô tả chương trình. Trình bày những gì bạn đầu tư, những gì bạn làm, đối tượng bạn tiếp cận và những gì cần thay đổi.
- Tập trung vào các câu hỏi và thiết kế đánh giá. Xác định những gì bạn cần biết và mức độ chặt chẽ cần có của thiết kế.
- Thu thập bằng chứng đáng tin cậy. Thu thập dữ liệu bằng các phương pháp phù hợp với câu hỏi và năng lực của bạn.
- Đưa ra và củng cố kết luận. Phân tích và giải thích các kết quả so với các tiêu chuẩn rõ ràng.
- Hành động dựa trên phát hiện. Chia sẻ những gì học hỏi được và sử dụng để cải thiện chương trình.
Ở trung tâm của chu trình là các tiêu chuẩn mà mọi hoạt động đánh giá cần đáp ứng: tính phù hợp và hữu ích, sự chặt chẽ, tính độc lập và khách quan, tính minh bạch và đạo đức. Xung quanh là ba thực hành xuyên suốt mọi bước: hợp tác tích cực, thúc đẩy sự công bằng, cùng học hỏi và sử dụng các hiểu biết thu được.
Sự công bằng và sự khiêm tốn về văn hóa
Đánh giá không phải là một hoạt động trung lập, đặc biệt là khi bạn làm việc với các cộng đồng thiếu nguồn lực hoặc từng trải qua tổn thương. Trong môi trường nghiên cứu, chúng ta có xu hướng cho rằng mình khách quan, nhưng đánh giá và nghiên cứu là các quá trình xã hội, chịu sự chi phối của những định kiến tương tự như bất kỳ điều gì khác. Việc bạn hợp tác với ai, đặt ra những câu hỏi nào, đo lường điều gì và báo cáo kết quả ra sao đều là các lựa chọn, và không lựa chọn nào trong số đó là trung lập.
Hãy xem xét văn hóa, chủng tộc, dân tộc, quyền lực, tổn thương và tiếng nói ở mọi thời điểm trong quá trình: sự tham gia của các bên liên quan, thiết kế chương trình, các câu hỏi đánh giá, công cụ đo lường, thu thập và phân tích dữ liệu, báo cáo cũng như việc lựa chọn các tư vấn viên đánh giá. Những tài nguyên này là một nền tảng tốt:
- Khung Đánh giá Công bằng từ Sáng kiến Đánh giá Công bằng
- Các câu hỏi định hướng cho việc đánh giá đáp ứng về mặt văn hóa từ MDRC
- Tuyên bố công khai về năng lực văn hóa trong đánh giá từ Hiệp hội Đánh giá Hoa Kỳ
Bước 1: Đánh giá bối cảnh
Đánh giá bối cảnh là bước đầu tiên trong chu trình, tuy nhiên các nhóm nghiên cứu thường tiếp cận các bên liên quan sau cùng. Hãy mời họ tham gia từ sớm. Ngay cả những người tham gia cũng có những quan điểm hữu ích về việc kết quả nào là quan trọng và kết quả nào là khả thi để đo lường, và họ có thể biết về dữ liệu mà bạn có thể sử dụng.
Xem xét bốn thành phần của bối cảnh:
- Mức độ sẵn sàng đánh giá. Đánh giá khả năng đánh giá xem xét liệu chương trình đã sẵn sàng để được đánh giá hay chưa.
- Con người. Lập bản đồ các bên quan tâm: ai chịu ảnh hưởng bởi chương trình, ai tác động đến chương trình, ai muốn biết kết quả.
- Địa điểm. Ghi chép lại môi trường và các đặc điểm của chương trình.
- Năng lực đánh giá. Đánh giá năng lực đánh giá của nhóm bạn và suy ngẫm trung thực về mức độ sẵn sàng của chính bạn với tư cách là người đánh giá.
Các bên liên quan của một chương trình ECHO thường bao gồm:
- Các nhà tài trợ
- Ban lãnh đạo tại cơ quan của bạn
- Các tổ chức đối tác
- Nhân viên chương trình
- Nhóm hub và các báo cáo viên
- Những người tham gia ECHO
- Các nhóm chuyên môn
- Nhóm “người thụ hưởng”: bệnh nhân, học sinh hoặc thành viên cộng đồng mà những người tham gia của bạn phục vụ
Bước 2: Mô tả chương trình
Hãy làm rõ những gì bạn đang làm. Mô hình logic phác thảo "logic" của chương trình của bạn: những gì bạn đầu tư, những gì bạn làm, những người bạn tiếp cận và những thay đổi diễn ra như một kết quả. Xây dựng một mô hình logic là một cách tuyệt vời để thu hút các bên liên quan. Ngay cả một chương trình đơn giản cũng trông khác nhau từ các góc nhìn khác nhau, và việc bộc lộ những điểm khác biệt đó sớm sẽ mang lại hiệu quả. Hãy quay lại với mô hình này theo thời gian khi chương trình phát triển.
Mẫu mẫu này được thiết kế mang tính tổng quát. Hãy làm cho nó cụ thể với chương trình của bạn, đặc biệt nếu bạn sẽ sử dụng nó để truyền thông với các bên liên quan bên ngoài. Năm cột của mô hình bao gồm:
- Đầu vào: những gì bạn đầu tư. Kinh phí, đội ngũ trung tâm (hub), các bên tham gia và đối tác, cùng với bất kỳ thực hành tốt nhất, hướng dẫn hoặc khung chương trình đào tạo nào mà chương trình dựa vào đó để xây dựng.
- Hoạt động: những gì bạn làm. Chiêu mộ, các buổi trực tuyến miễn phí định kỳ, các bài trình bày lý thuyết ngắn gọn, trình bày ca bệnh và đưa ra khuyến nghị, thúc đẩy học tập hai chiều giữa đồng nghiệp và chuyên gia, cũng như các tài liệu và bản ghi hình theo yêu cầu. Nếu có các can thiệp khác kết nối với ECHO của bạn, hãy đưa chúng vào để bối cảnh được rõ ràng.
- Đầu ra: những người bạn tiếp cận. Các buổi học đã tổ chức, số lượng người tham gia duy nhất, đặc điểm người tham gia, tỷ lệ tham dự và mức độ hài lòng.
- Kết quả ngắn hạn: học tập và hành động. Tăng cường kiến thức, kỹ năng, sự tự tin và năng lực bản thân; cải thiện việc áp dụng các thực hành dựa trên bằng chứng; giảm sự cô lập về mặt chuyên môn và nâng cao mức độ hài lòng với công việc.
- Kết quả dài hạn: sự thay đổi. Cải thiện kết quả cho người thụ hưởng cuối cùng như bệnh nhân hoặc học sinh, nâng cao chất lượng của các tổ chức và hệ thống hỗ trợ thực hành dựa trên bằng chứng, các chỉ số sức khỏe dân số tốt hơn và cải thiện tỷ lệ giữ chân lực lượng lao động.
Ví dụ: ECHO Cải thiện Sức khỏe Chu sinh
Mô hình của chương trình này xác định các thực hành tốt nhất mà nó thúc đẩy (các gói an toàn người bệnh AIM) là một đầu vào, và gắn liền sự thay đổi thực hành cụ thể, có thể quan sát được—giảm kỳ thị và sử dụng ít ngôn ngữ kỳ thị hơn đối với phụ nữ mang thai và sau sinh có sử dụng chất gây nghiện—với các kết quả về bệnh nhân và cộng đồng mà chương trình hy vọng đạt được. Tính cụ thể đó chính là yếu tố giúp các kết quả có thể đo lường được.
Lựa chọn kết quả với mô hình bảy cấp độ của Moore
Quyết định các kết quả thường là phần khó khăn nhất. Chúng tôi sử dụng khung kết quả mở rộng của Moore, được phát triển cho đào tạo y khoa liên tục để vượt qua các "bảng khảo sát sự hài lòng đơn thuần" nhằm đạt được những kết quả có ý nghĩa hơn. Kim tự tháp được xây dựng từ dưới lên: mỗi cấp độ phụ thuộc vào các cấp độ bên dưới nó.
| Cấp độ | Nội dung đo lường | Nguồn dữ liệu |
|---|---|---|
| 1. Sự tham gia | Số lượng và thông tin nhân khẩu học của người tham gia, tỷ lệ tham dự, các ca bệnh được trình bày, số lượt xem bản ghi hình | Mẫu đăng ký, hồ sơ điểm danh, hồ sơ trình bày ca bệnh, iECHO |
| 2. Mức độ hài lòng | Liệu kỳ vọng của người tham gia về hình thức và nội dung của các buổi học có được đáp ứng hay không | Các câu hỏi khảo sát nhanh, khảo sát sau buổi học |
| 3. Học tập (biết, biết cách làm) | Liệu người tham gia có thể nêu rõ những gì cần làm và làm như thế nào theo đúng mục tiêu học tập của chương trình hay không | Bài kiểm tra kiến thức (khách quan); mức độ tiếp thu kiến thức tự báo cáo (chủ quan) |
| 4. Năng lực (thể hiện cách làm) | Liệu người tham gia có thể thể hiện cách thực hiện những gì chương trình hướng tới trong môi trường giáo dục hay không | Quan sát trong môi trường giáo dục (khách quan); năng lực, sự tự tin hoặc hiệu quả bản thân tự báo cáo (chủ quan) |
| 5. Hiệu suất thực hành (thực hiện) | Liệu người tham gia có thực hiện những gì chương trình hướng tới trong công việc thực tế của họ hay không | Quan sát trong môi trường thực tế, hồ sơ y tế hoặc giáo dục, dữ liệu hành chính (khách quan); thay đổi thực hành hoặc ý định thay đổi tự báo cáo (chủ quan) |
| 6. Kết quả của người thụ hưởng cuối cùng | Liệu kết quả dành cho bệnh nhân, học sinh hoặc những người thụ hưởng cuối cùng khác có cải thiện nhờ sự thay đổi thực hành của người tham gia hay không | Hồ sơ y tế hoặc giáo dục, dữ liệu hành chính, trình bày ca/trường hợp lặp lại (khách quan); những cải thiện tự báo cáo (chủ quan) |
| 7. Kết quả cấp quần thể | Liệu những thay đổi về con người, chính sách hoặc hệ thống có xuất phát từ sự thay đổi thực hành của người tham gia hay không | Dữ liệu hành chính (khách quan); các thay đổi tự báo cáo, nghiên cứu điển hình (chủ quan) |
Hầu hết các chương trình ECHO nhắm đến Cấp độ 1 đến 4 và dựa vào các thước đo chủ quan, yêu cầu người tham gia tự đánh giá sự thay đổi về kiến thức và năng lực của họ. Cấp độ 5, hiệu suất thực hành, là nơi ECHO bước vào thế giới thực và là điểm mấu chốt của toàn bộ mô hình: nếu người tham gia không thay đổi những gì họ làm, sẽ không có con đường nào dẫn đến kết quả cho người thụ hưởng cuối cùng hoặc quần thể.
- Nếu chương trình của bạn đã đi vào hoạt động ổn định, hãy thử đo lường sự thay đổi thực hành. Các phương pháp trong Bước 4 sẽ giúp ích.
- Nếu chương trình của bạn còn mới, hãy suy nghĩ ngay từ bây giờ về cách chương trình giảng dạy sẽ ảnh hưởng đến những thay đổi thực hành mà bạn muốn thấy, và liên kết các buổi học với những thay đổi đó.
Bước 3: Tập trung vào thiết kế đánh giá
Khi các bên liên quan đã tham gia và có sẵn mô hình logic, hãy quyết định mức độ chặt chẽ của thiết kế. Các thiết kế thường trở nên tinh vi hơn khi chương trình phát triển hoàn thiện, hoặc sớm hơn nếu bạn đã có kinh nghiệm đánh giá hoặc có một chuyên viên đánh giá chuyên trách trong nhóm.
| Chương trình của bạn đang ở đâu | Thiết kế phù hợp |
|---|---|
| Chương trình mới, hoặc nhóm có ít kinh nghiệm đánh giá | Mô tả: dữ liệu cắt ngang hoặc quan sát về những người đã tham gia và những gì họ báo cáo |
| Chương trình đã thiết lập, quen thuộc với việc giám sát định kỳ | Hai hoặc nhiều điểm dữ liệu: các số liệu đo lường trước và sau, khảo sát theo dõi hoặc theo dõi dọc |
| Chương trình đã thiết lập có thêm kinh phí, chuyên viên đánh giá hoặc đối tác nghiên cứu | Các nhóm đối chứng: các phương pháp ngẫu nhiên hóa hoặc điểm xu hướng để cho thấy điều gì sẽ xảy ra nếu không có ECHO |
Bước 4: Thu thập bằng chứng đáng tin cậy
Khi thiết kế đã sẵn sàng, hãy thu thập dữ liệu. Đây là các phương pháp chuẩn hóa mà ECHO Institute đã phát triển. Hãy sử dụng các mẫu được liên kết theo nguyên bản hoặc điều chỉnh cho phù hợp với chương trình của bạn.
| Phương pháp | Thông tin thu thập được | Thời điểm |
|---|---|---|
| Mẫu đăng ký (Zoom hoặc iECHO) | Vai trò của người tham gia, tổ chức, địa điểm, giới tính và các đặc điểm khác | Buổi đầu tiên |
| Hồ sơ chương trình (iECHO) | Điểm danh, số buổi học, số ca bệnh | Mỗi buổi |
| Các câu hỏi khảo sát trong buổi học (Zoom) | Ý định sử dụng thông tin và các rào cản khi thực hiện | Mỗi buổi |
| Khảo sát sau buổi học (iECHO hoặc REDCap) | Mức độ hài lòng và kiến thức | Mỗi buổi |
| Khảo sát theo dõi (iECHO hoặc REDCap) | Các thay đổi trong thực hành và số người tiếp cận được | Hàng năm |
| Tự đánh giá của nhóm Hub | Mức độ tuân thủ Mô hình ECHO; suy ngẫm về dữ liệu cho đến nay | Hàng quý |
| Khảo sát theo dõi sau trình bày ca bệnh | Tính hữu ích của các khuyến nghị; kết quả đối với người thụ hưởng cuối cùng và hệ thống; số người chịu ảnh hưởng | Từ một đến hai tháng sau khi trình bày ca bệnh |
| Nhóm thảo luận tập trung nhỏ | Lợi ích và rào cản khi tham gia; các thay đổi trong thực hành và hệ thống | Hàng năm |
Tránh các bài khảo sát quá dài. Mô hình logic giúp bạn ưu tiên những câu hỏi cần đặt ra ở từng giai đoạn của chương trình.
Một vài lưu ý về các phương pháp ít quen thuộc hơn:
- Tự đánh giá của nhóm Hub giúp tìm hiểu xem liệu nhóm của bạn có đang tuân thủ các thực hành tốt nhất của ECHO hay không. Hãy dành thời gian để xem lại dữ liệu bạn đã có thay vì chờ đợi một báo cáo. Nhiều nhóm họp thường xuyên để cùng nhau xem xét bảng thông tin (dashboard) của họ.
- Khảo sát theo dõi trình bày ca bệnh được gửi tới người trình bày một hoặc hai tháng sau ca bệnh của họ, nhằm tìm hiểu xem các khuyến nghị có hữu ích không và những gì đã thay đổi đối với bệnh nhân, học viên hoặc hệ thống.
- Các nhóm thảo luận trọng tâm nhỏ làm nổi bật các lợi ích, rào cản cùng những thay đổi trong thực hành và hệ thống mà khảo sát có thể bỏ lỡ.
Dữ liệu được đề xuất
Tối thiểu, chúng tôi khuyên mỗi chương trình nên đo lường sự hài lòng, kiến thức và độ phù hợp sau mỗi buổi học. Các câu hỏi dưới đây được lấy từ các mẫu khảo sát ý kiến phản hồi, được tích hợp sẵn trong iECHO (xem Thực hiện khảo sát phản hồi buổi học) và cũng có sẵn trong PERL.
| Chỉ số | Câu hỏi | Các lựa chọn câu trả lời |
|---|---|---|
| Mức độ hài lòng | Khả năng bạn sẽ giới thiệu buổi học [hoặc khóa học] này cho đồng nghiệp là bao nhiêu? | 1 (hoàn toàn không có khả năng) đến 10 (rất có khả năng) |
| Kiến thức | Đánh giá kiến thức (hoặc kỹ năng) của bạn về chủ đề trước buổi học. Đánh giá kiến thức (hoặc kỹ năng) của bạn về chủ đề sau buổi học. | Không am hiểu chút nào, am hiểu một chút, am hiểu vừa phải, rất am hiểu hoặc cực kỳ am hiểu |
| Độ phù hợp (ưu tiên) | Bạn có sử dụng những gì đã học trong buổi học này vào công việc của mình không? | Chắc chắn không, có thể không, có khả năng, có thể có, chắc chắn có, không áp dụng |
| Độ phù hợp (thay thế) | Buổi học [hoặc khóa học] này phù hợp như thế nào với công việc hiện tại của bạn? | Hoàn toàn không phù hợp, hơi phù hợp, phù hợp vừa phải, rất phù hợp hoặc cực kỳ phù hợp |
Đo lường sự thay đổi trong thực hành
Hãy bắt đầu bằng một câu hỏi: bạn muốn người tham gia làm điều gì khác đi nhờ vào ECHO? Trả lời câu hỏi đó một cách tổng quát trước, sau đó chia nhỏ câu trả lời thành các phần cụ thể. “Quản lý rối loạn sử dụng chất gây nghiện dạng thuốc phiện trong chăm sóc ban đầu” là một mục tiêu; “kê đơn buprenorphine” và “sàng lọc mọi bệnh nhân mới bằng công cụ đã qua kiểm chứng” là các thực hành mà bạn có thể đo lường.
Nếu cảm thấy còn quá sớm để trả lời thì cũng không sao. Các chương trình đang ở những giai đoạn khác nhau, và việc xác định sự thay đổi thực hành mà bạn mong muốn là một phần của kế hoạch chương trình. Làm tốt điều này là bước tiến hướng tới việc đánh giá. Các cách thu thập dữ liệu về thay đổi thực hành bao gồm:
- Khảo sát, và thảo luận nhóm tập trung hoặc phỏng vấn
- Hồ sơ sức khỏe điện tử
- Các chỉ số cải tiến chất lượng
Đạo đức nghiên cứu. Hãy tìm hiểu về Hội đồng Đánh giá Đạo đức (IRB) của cơ quan bạn hoặc đơn vị tương đương. Dữ liệu bạn thu thập hiếm khi nhạy cảm, nhưng bạn đang thu thập dữ liệu đó từ con người và nó bao gồm các thông tin định danh cá nhân. Đánh giá của IRB có thể không bắt buộc đối với cải tiến chất lượng, nhưng yêu cầu của IRB và yêu cầu xuất bản ấn phẩm là khác nhau, vì vậy hãy tuân thủ hướng dẫn của cơ quan bạn và tìm kiếm sự hỗ trợ từ các chuyên gia.
Bước 5: Đưa ra và củng cố các kết luận
Việc phân tích, dù là định tính hay định lượng, đều được dẫn dắt bởi câu hỏi đặt ra và dữ liệu bạn có. Hãy diễn giải kết quả dựa trên các tiêu chuẩn bạn đã thiết lập trước đó:
- Kết quả. Bạn có đạt được mức tiêu chuẩn mình đã đề ra hay không, chẳng hạn như sự gia tăng đáng kể về kiến thức trước và sau chương trình?
- Giá trị. Nêu rõ các giá trị này. Những phát hiện nào được coi là tích cực hay tiêu cực dựa trên các mục tiêu của chương trình?
- Các bên liên quan. Các phát hiện có phản ánh trải nghiệm và kỳ vọng của họ không? Nếu không, tại sao?
Các khuyến nghị phải nhất quán với kết luận của bạn và phù hợp với giới hạn của các phát hiện. Chương trình của bạn có mang lại hiệu quả tương tự trong một bối cảnh khác không? Hãy nêu rõ những yếu tố quyết định sự thành công hay thất bại trong tương lai.
Bước 6: Sử dụng dữ liệu để học hỏi
Rất dễ xảy ra trường hợp chỉ báo cáo cho các nhà tài trợ. Việc chia sẻ dữ liệu thường xuyên hơn cho nhóm thực hiện chương trình sẽ làm cho dữ liệu hữu ích hơn nhiều. Đối với từng đối tượng, hãy quyết định nội dung, định dạng và tần suất:
- Đối tượng. Các nhà tài trợ, ban lãnh đạo, nhóm trung tâm (hub team), người tham gia, các tổ chức đối tác, cộng đồng.
- Nội dung. Những gì từng đối tượng cần biết để đưa ra quyết định hoặc cảm nhận được giá trị của chương trình.
- Định dạng. Bảng điều khiển (dashboard), báo cáo bằng văn bản, một trang trình chiếu tại cuộc họp nhóm, một ghi chú trong một buổi sinh hoạt.
- Tần suất. Hàng quý đối với việc xem xét của nhóm, hàng năm đối với nhà tài trợ, hoặc bất kỳ tần suất nào giúp dữ liệu tiếp tục được sử dụng.
Hoàn tất quy trình phản hồi bằng cách chia sẻ những gì bạn học được với người tham gia, tổ chức của họ và cộng đồng mà bạn phục vụ. Họ đã cung cấp dữ liệu cho bạn; hãy cho họ thấy dữ liệu đó đã thay đổi điều gì.
Bảng điều khiển trong iECHO
Trung tâm Phân tích iECHO cung cấp cho đội ngũ hub của bạn các chế độ xem sẵn có để cùng đánh giá: sự tham gia, thông tin chi tiết về người tham gia và phản hồi buổi học. Hãy bắt đầu với Bảng điều khiển Tổng quan, sau đó tìm hiểu sâu hơn về các bảng điều khiển Người tham gia và Biểu mẫu. Đưa một trong những bảng điều khiển này vào chương trình cuộc họp nhóm định kỳ là cách đơn giản nhất để tạo thói quen học hỏi từ dữ liệu của bạn.
Phát triển từ đánh giá: Nghiên cứu ECHO
Không có ranh giới rạch ròi giữa đánh giá và nghiên cứu. Chúng sử dụng cùng một bộ công cụ và thường đặt ra cùng những câu hỏi; nghiên cứu thường có độ phức tạp và tính nghiêm ngặt cao hơn. Hơn 900 ấn phẩm đã qua kiểm duyệt bởi chuyên gia về ECHO được danh mục hóa trên Bảng điều khiển các ấn phẩm ECHO, và sự phân bổ của chúng theo các cấp độ của Moore phản ánh những gì hầu hết các chương trình đo lường.
| Cấp độ Moore | Các ấn phẩm được kiểm duyệt bởi chuyên gia (Tháng 4 năm 2026) |
|---|---|
| 1. Sự tham gia | 668 |
| 2. Mức độ hài lòng | 453 |
| 3. Học tập | 480 |
| 4. Năng lực | 360 |
| 5. Hiệu suất công việc | 280 |
| 6. Kết quả đối với người hưởng lợi cuối cùng | 110 |
| 7. Kết quả ở cấp độ quần thể | 16 |
Kết quả điều trị của bệnh nhân trong các tài liệu chuyên ngành
Nghiên cứu đang hướng tới các thước đo khách quan: dữ liệu yêu cầu bồi thường bảo hiểm, hồ sơ sức khỏe điện tử, rà soát bệnh án, khảo sát bệnh nhân và các tập dữ liệu hành chính hoặc chương trình khác. Cho đến nay, hầu hết các nghiên cứu về kết quả điều trị của bệnh nhân đều đến từ viêm gan C, đái tháo đường, HIV và quản lý đau. Các thước đo kết quả mà họ sử dụng có thể gợi ý những gì chương trình của chính bạn có thể theo dõi.
| Chủ đề | Các thước đo kết quả |
|---|---|
| Virus viêm gan C (HCV) | Đáp ứng virus bền vững; xét nghiệm HCV; bệnh nhân được phân loại giai đoạn để điều trị; tiếp nhận điều trị nhiễm HCV mãn tính |
| Nội tiết học | Khả năng tiếp cận chăm sóc sức khỏe và việc nhận chăm sóc dựa trên bằng chứng do bệnh nhân tự báo cáo; HbA1c và các thực hành tốt nhất khác như kiểm tra mắt và chân |
| HIV | Người được xét nghiệm HIV; cá nhân được kê đơn điều trị bằng thuốc kháng retrovirus; ức chế tải lượng virus; phòng ngừa lây truyền từ mẹ sang con |
| Ung thư | Số lượng bệnh nhân được tầm soát, chẩn đoán và điều trị; việc bắt đầu và hoàn thành tiêm vắc-xin HPV |
| Quản lý đau | Đơn thuốc opioid và liều tương đương morphine milligram; việc kê đơn đồng thời opioid và benzodiazepine; bệnh nhân bắt đầu dùng thuốc không thuộc nhóm opioid; việc tiếp nhận thuốc không thuộc nhóm opioid hoặc các phương pháp điều trị quản lý đau khác |
| Chăm sóc dài hạn | Tái nhập viện và các chỉ số khác sau khi xuất viện chuyển sang các cơ sở điều dưỡng chuyên khoa; các chỉ số chất lượng chăm sóc ở cư dân viện dưỡng lão; chi phí phòng cấp cứu ở bệnh nhân tâm thần cao tuổi |
| Rối loạn sử dụng chất và opioid | Việc tiếp nhận buprenorphine để điều trị rối loạn sử dụng opioid; thời hạn của đơn thuốc buprenorphine |
| Sức khỏe tâm thần và hành vi | Thước đo triệu chứng cắt ngang DSM-5 do bệnh nhân tự báo cáo; Thang đánh giá mức độ tàn tật của WHO do bệnh nhân tự báo cáo |
Cơ hội nghiên cứu
Nếu bạn muốn chuyển từ đánh giá sang nghiên cứu, một vài điều sau sẽ giúp ích:
- Phát triển dựa trên nền tảng đánh giá của bạn. Các nghiên cứu nghiêm ngặt phụ thuộc vào các cấu trúc đã thu thập dữ liệu một cách đáng tin cậy.
- Xây dựng quan hệ đối tác. Hầu hết các nghiên cứu ECHO liên quan đến nhiều hơn một bên: các hub hợp tác với nhau, hoặc một hub kết hợp với một nhà nghiên cứu có chuyên môn về nội dung. Các nhóm hợp tác ECHO là nơi tốt để tìm các chương trình đang nghiên cứu những câu hỏi tương tự. Bạn không cần phải tự mình tìm hiểu mọi thứ.
- Tìm kiếm nguồn tài trợ nghiên cứu. Các thiết kế nghiên cứu nghiêm ngặt thường cần sự hỗ trợ vượt ra ngoài ngân sách của chương trình.
- Ưu tiên các khoảng trống trong cơ sở bằng chứng. Dù đã có hàng trăm nghiên cứu, vẫn còn rất ít thông tin về kết quả đối với người thụ hưởng cuối cùng, các thử nghiệm lâm sàng ngẫu nhiên có đối chứng, các chương trình ECHO giáo dục, các chương trình ở các quốc gia có thu nhập thấp và trung bình, cũng như các yếu tố thiết yếu của Mô hình ECHO. Việc lấp đầy khoảng trống này sẽ cải thiện khả năng nhận được tài trợ và xuất bản của bạn.
Tài liệu tham khảo và nguồn lực
- Trung tâm Kiểm soát và Phòng ngừa Dịch bệnh. (2024). Framework for program evaluation in public health. MMWR Recommendations and Reports, 73(RR-6), 1–37.
- Moore, D. E., Green, J. S., & Gallis, H. A. (2009). Achieving desired results and improved outcomes: Integrating planning and assessment throughout learning activities. Journal of Continuing Education in the Health Professions, 29(1), 1–15.
- Viện Y học New York. (2017). Project ECHO Evaluation 101: A practical guide for evaluating your program.
- PERL: thư viện các mẫu đánh giá của Viện ECHO, bao gồm mô hình logic và các công cụ khảo sát được liên kết ở trên.
- Bảng thông tin ấn phẩm ECHO: các nghiên cứu đã qua phản biện về ECHO, có thể tìm kiếm theo chủ đề và cấp độ kết quả.
Bạn có câu hỏi về việc đánh giá chương trình của mình? Hãy liên hệ với đội ngũ nghiên cứu và đánh giá của Viện ECHO qua địa chỉ jljones8@salud.unm.edu.